Etter at en ny statsministerbolig i Parkveien 45 ble innkjøpt i 1896, solgte staten Stiftsgården til private. Chr. Matthiessen (etterhvert kjent som Banan-Matthiessen og senere BAMA) begynte med import av bananer i 1905 og hadde bananmodneri i Stiftsgården. Gården ble revet i 1913 og Sjøfartsbygningen ble oppført på tomten.