Stasjonsbygningen ble modernisert i 1930-årene, bl.a. ble restauranten flyttet fra sidefløyen til nordfløyen. Den ble flyttet tilbake etter ny ombygging i 1954 der hovedinngangen ble flyttet til veisiden og kontorer og billettkontor ble renovert. Dessusen ble det installert vannklosetter. I 1950-årene krysset fremdeles biltrafikken Frierfjorden med bilferge, og det ble da anlagt ny gangvei fra stasjonen til fergekaia. Etter åpningen av Brevikbrua i 1962 fikk banen et sterkt fall i antall passasjerer. En større del av lokaltrafikken gikk over til buss. NSB besluttet derfor å innstille lokaltogene mellom Skien og Brevik fra 1. februar 1964. Fra 1968 ble også ekspresstogene nedlagt, og etter dette har det kun kjørt godstog på banen. Brevik stasjon var i bruk inntil 1. februar 1982.