Het huidige gebouw werd ontworpen door de plaatselijke architect A. Page Brown en verving bij zijn opening in 1898 een houten gebouw. Het gebouw bleef zowel bij de aardbeving van 1906 als bij de Loma Prieta-aardbeving van 1989 vrijwel ongedeerd. Tot de voltooiing van de Bay Bridge en de Golden Gate Bridge in de jaren 1930 was het Ferry Building na het Charing Cross Station in Londen, de grootste overstapplaats ter wereld. Veerboten van de Southern Pacific Transportation Company meerden hier aan om forensen uit de East Bay naar San Francisco te brengen.