Kvartalet mellom Fred. Olsens gate og Strandgata på torgets sydside var fram til 1914 bebygd lenger inn på det som i dag er torget. Bygningene ble kjøpt av kommunen i 1914 og revet. 1/3 av tomten ble tillagt Jernbanetorget, og resten solgt til Den norske Amerikalinje, som reiste sitt monumentalbygg i 1918.