Lietuvos sporto universiteto (tuomet — Aukštieji kūno kultūros kursai) rūmų projektas parengtas 1931 metais, o pastatas pastatytas 1934-aisiais. Kūno kultūros rūmus projektavo architektas Vytautas Landsbergis-Žemkalnis. Tuomet pastatas vadintas „Fiziško auklėjimo rūmais“.
Nors iš pradžių buvo manyta, kad rūmus derėtų statyti „Kęstučio gatvėje esančiame žemės sklype su mediniu nameliu, kuris rusų laikais priklausė sporto „Orel“ draugijai“, tačiau 1930 m., atgimus rūmų statybos idėjai, buvo vieningai nuspręsta, kad šalia Ąžuolyno esanti teritorija, kuri yra „arti centro ir sykiu toli nuo dulkių ir miesto triukšmo“ bus ideali vieta tokios paskirties objektui. Juolab kad prieš iškylant Fiziško auklėjimo rūmams čia jau veikė Lietuvos fizinio lavinimo sąjungos (LFLS) stadionas bei teniso klubo aikštelės. Rūmai buvo pirmas solidus ir gana prabangus (statybai planuota skirti nuo 600 iki 900 tūkst. litų) šio sporto komplekso statinys.
1931 m. buvo paruoštos kelios projektų versijos, kurios „fiziško auklėjimo sluoksniuose buvo detaliai svarstomos“, tačiau nuspręsta paruošti kitą, „racionalesnį ir kompaktiškesnį“ projektą. Nors pastato statyba baigta 1934 m., tačiau objektas palaipsniui plėstas: 1939 užstatyti antrieji šoninių korpusų aukštai, 1958 m. gale, už salės, pastatytas baseinas (tiesa, pastarasis buvo suprojektuotas dar tarpukariu, kaip atskiras pastatas). Tai pirmasis bendro monumentalaus sporto komplekso objektas. 1939 m. netoliese pastatyta sporto halė.
Pirmojo etapo statyboje rūmai formuoti iš pagrindinio tūrio, kuriame buvo įrengta didžioji 200 m2 gimnastikos salė, bei nedidelių šoninių korpusų, kurių pirmuose aukštuose buvo įrengtos erdvios vyrų ir moterų persirengimo patalpos su dušais ir kitais patogumais, instruktorių kambariai, greitosios pagalbos ir masažo kambariai, klasės. Taip pat dvi nedidelės sporto salės: mažoji mankštos salė ir fechtavimo salė. Antrame aukšte projektuota įrengti „gydymo ir antropometrijos skyrių su Rentgeno prietaisais ir diametrija, auditoriją su ekranu fiziško lavinimo filmams demonstruoti, biblioteką ir skaityklą, posėdžių salę, direktoriaus kabinetą, profesoriumą, raštinę, redakciją ir propagandos skyrių, gimnastikos pabūklų sandėlį, soliariumą (saulės vonioms terasa)“. Pastarasis elementas glaudžiai susijęs su modernistine tradicija maksimaliai išnaudoti saulės šviesą.
Kalbant apie architektūrinį sprendimą – į akis krenta simetrija, klasikinei architektūrai būdinga fasado ritmika. Bene taikliausiai rūmų architektūrinį sprendimą atspindi paties architekto žodžiai: „Projektuodamas šiuos rūmus, architektas norėjo sujungti vienam pastate du dalykus, dvi formas: klasiką, pirmąjį didį fiziškos kultūros pionierių (Graikiją), su mūsų laikais. Abiejų salių korpusai stengtasi išdirbti pagal klasikinę dvasią, sumodernizuojant tik esminius dalykus, kiek to reikalauja šių dienų architektūra. Iš antros pusės, trobesys stengtasi projektuoti visiškai moderniai“. Vienas iš moderniausių sprendimų – puscilindrio formos sporto salės perdangos su viršutiniu apšvietimu. Kaip vėliau spaudoje mini pats architektas: „ieškota lengvos ir elegantiškos, ir žinoma ugniai atsparios konstrukcijos“. Pasirinkta „nauja gelžbetonio konstrukcija, taip vaidinama „Kreuzekrost“, kuri yra išrasta ir patentuota 1928 m. inž., dr. Stefan Szego“. Kiti statybos elementai tradiciniai – plytų sienos, gelžbetoniniai perdengimai, medinė stogo konstrukcija. Įdomu paminėti, kad objektas savo kompozicija gan artimas kitam V. Landsbergio projektuotam panašios paskirties statiniui – Klaipėdos pedagoginio instituto sporto rūmams (1938).
LSU centrinių rūmų pastatas 1992 m. įtrauktas į Valstybės saugomų kultūros paveldo objektų sąrašą.
2015 m. Europos komisija oficialiai patvirtino, kad unikalia tarpukario modernizmo architektūra garsėjančiam Kaunui bus suteiktas Europos paveldo ženklas. Tai neabejotinai prisidės prie tarpukario modernizmo architektūros išsaugojimo ir į Kauną pritrauks šiuo išskirtiniu reiškiniu besidominčius užsienio turistus. Į svarbiausių Kauno tarpukario laikotarpio objektų sąrašą įtrauktas ir Lietuvos sporto universiteto centrinių rūmų pastatas. Kiti į sąrašą patekę objektai — Karininkų Ramovė, Centrinis paštas, Kristaus Prisikėlimo bažnyčia, Vytauto Didžiojo karo muziejus ir kt. Šiems objektams bus leidžiama naudoti lentelę su Europos Paveldo ženklo logotipu ir jos bus įtrauktos į ES viešinimo bei skatinimo strategiją, skirtą Europos paveldo ženklui, taip didinant jų žinomumą.
Tarptautinė ekspertų grupė per 2014 metus vertino nacionaliniu lygiu atrinktas ir Europos Komisijai ES valstybių narių, prisijungusių prie Europos paveldo ženklo iniciatyvos, pateiktas 36-ias paraiškas. Po ilgų svarstymų, buvo parengta ataskaita, rekomenduojanti Europos Komisijai suteikti Europos paveldo ženklą 16-ai vietų ar objektų, tarp kurių – Kauno miesto savivaldybės pateikta paraiška – „1919-1940 metų Kaunas“.
2023 metų rugsėjo 24 d. Kauno modernizmo vertybė Modernistinis Kaunas: Optimizmo architektūra, 1919–1939 svarstyta 45-ojoje UNESCO Pasaulio paveldo komiteto sesijoje (Rijade, Saudo Arabijoje) ir daugumos Pasaulio paveldo komiteto šalių narių pritarimu, įrašyta į Pasaulio paveldo sąrašą. Tarp jų pateko ir Kūno kultūros rūmų pastatas.