I 1984 ble kontoret omgjort til Ungdoms- og idrettsavdelingen i Kulturdepartementet. I 1991 ble ungdomssakene flyttet til det nyopprettede Barne- og familiedepartementet, mens Idrettsavdelingen ble værende i Kulturdepartementet.