Etter at slottet gjennomgikk betydelig restaurering i 1928 ble det året etter bestemt at Oscarshall skulle bli den offisielle residensen til nygifte kronprins Olav og kronprinsesse Märtha. Det ble derfor nødvendig å ekspandere bygningen for å gjøre den bebolig. Det ble utlyst en arkitektkonkurranse for et nybygg, hvor det kom bidrag fra Arnstein Arneberg, Magnus Poulsson og Henrik Nissen d.y., og et vinnerutkast ble kåret. Planene møtte likevel motstand fra politisk hold og ble til slutt skrinlagt. Kronprinsparets boligsituasjon løste seg likevel raskt da minister Fritz Wedel Jarlsberg solgte paret eiendommen Skaugum senere samme år.