Stasjonsbygningen (nå kalt Bygg A) ble først bygget i to etasjer, men ble utvidet med en tredje etasje i 1926. Videre ble det bygget en ny kontor og ekspedisjonsbygning, kalt bygg B, som sto ferdig i 1977. I 2011 gjennomgikk Drammen stasjon en omfattende ombygging og rehabilitering.