Urheilumuseon toimintaa ylläpitävä Suomen Urheilumuseosäätiö perustettiin vuonna 1938, ja nykyinen kirjasto alkoi muotoutua, kun museolle ja kirjastolle osoitettiin tilat Olympiastadionin siipirakennuksesta. Aluksi kirjaston kokoelman muodostivat Valtion urheilu- ja voimistelulautakunnan kokoelma (noin tuhat nidettä) sekä Ivar Wilskmanin yli 400 kirjaa. Myös Liikuntakasvatuskirjasto liitettiin kirjaston kokoelmaan jatkosodan jälkeen, sillä se oli ollut ehtona, kun Urheilumuseo järjesti kokoelmien evakuoinnin Karkun ja Sipoon kirkkoihin sekä Alkon varastoon Helsingin pommitusten aikaan talvella 1944. Näistä kokoelmista muodostunut Suomen Urheilukirjasto avasi ovet yleisölle maaliskuussa 1946.