Stasjonsbygnigen fra jernbanens åpning i 1879 var tegnet av arkitekt Peter Andreas Blix, men den brant i august 1898. Ny stasjonsbygning ble tegnet av arkitekt Paul Due og tatt i bruk i 1900. Stasjonsbygningen ble vesentlig større enn den nedbrente forgjengeren, da den nå også skulle romme tollkontor og bolig for tollstedsjefen. Tradisjonen forteller at kong Oscar II selv engasjerte seg i utformingen av stasjonen. Bygningen ble oppført i mur og ikke tre, men Due utarbeidet også tegninger til en trebygning.