在1980年代没落，万荣站的客货运营收快速没落。根据台铁官方纪录，1980年上车人数为4万人，远低于伐木业盛行的年代，但当时仍停靠台东线最高级的光华号列车。东拓完成改点后，台东线上开始有自强、莒光、复兴等高级列车运行，但万荣站仅有非对号列车停靠。再加上花东公路拓宽与公路运输的普及，使得万荣站的营运状况大幅萎缩。1990年代粮食局的侧线拆除，万荣站货运几乎处于停摆的状况，除了道渣之外其他货运物品几乎都难得一见。客运方面虽然之后有停靠莒光号等对号列车，但还是不敌林田山人口外流之缺，2004年度时上车人数仅7,7