Kontoret ble opprinnelig etablert i Sosialdepartementet i 1946, men ble i 1948 overført til Kommunaldepartementet og året etter, i 1949, videreført til Kirke- og undervisningsdepartementet ved kongelig resolusjon den 17. juni. Rolf Hofmo var kontorets sjef fra 1946 og til sin død i 1966. I denne perioden var han den dominerende idrettspolitiske skikkelsen i Norge.