Den første stasjonsbygningen var et ekspedisjonshus på dampskipskaien som senere er revet. I 1858 ble det oppført en ny og staselig stasjonsbygning med restaurant og hotell, men denne brant 16. oktober 1877. Dagens bygning i mur er fra 1878, tegnet av arkitekt Jacob Wilhelm Nordan, og har samme grunnflate og nesten identisk utseende som den forrige.