本站，最初由于本地的行政区划属于，因此命名为小郡车站；1906年因山阳铁道被收归为国有而随着成为国营的铁路车站。1908年在此设立了，以小郡车站为起点，设立轻便铁路往北进入山口县的县政府所在地（现在的山口市）；但在1913年一样往北通往山口町的国营山口线通车后，大日本轨道山口支社即停止营运。1925年，也自南侧的本阿知须站往北延伸至此，至此小郡车站成为往东西南北四个方向皆有铁路路线的铁路车站；宇部铁道后来也在1943年由国家接手成为国营铁道。1975年山阳新干线冈山车站至博多车站路段通车，小郡车