Skoger hadde en stasjonsbygning for mellomstasjon av 2. klasse, i likhet med Adal og Stokke. Den ble tegnet av Balthazar Lange. Stasjonsbygningen ble revet i 1989 og godshuset i 1984.