Da det ble besluttet å reise Sjøfartsbygningen ble den gamle Stiftsgården fra 1700-tallet revet. Deler av den gamle Stiftsgård-bygningen er bevart på Norsk Folkemuseum på Bygdøy. Byggearbeidet med Sjøfartsbygningen ble ledet av byggmester Ferdinand G. Gundersen i firmaet Bygmester F.G. Gundersen & Søn. Bygget ble reist på bemerkelsesverdig kort tid, fra arkitektkonkurransen i 1913 til ferdigattest i 1915.