站在1901年初设时，原名上山（），这站名一直使用到1992年时，配合山形新干线福岛～山形间路段通车，而改为现名。在2002年时，上山车站因为其仿照了附近的古城的建物造型而设计的车站站房，而获选东北车站百选（）之列。除了客运业务外，在1991年前日本货物铁道（JR货物）原本在上山温泉车站是有货运专用站，但该业务目前早已停办、货运站也已不复存在。
车站zh-tw:构造;zh-hk:结构;zh-cn:构造;.上山温泉是一个配置有一座侧式月台（1号线）与一座岛式月台（2、3号