Kontoret ble etablert som Statens idrettskontor i 1946. I 1950 fikk kontoret i tillegg ungdomssaker som arbeidsfelt og fikk navnet Statens ungdoms- og idrettskontor. Dette omfattet blant annet bygging av samfunnshus og administrasjon av ”Ungdommens arbeidstiltak”. Kontoret hadde dessuten sekretariatsfunksjon både for Statens idrettsråd og Statens ungdomsråd.