有单层木制站舍一座，与阿波山川站属同一类型站舍，但由于山濑站很早期已变为无人站，站舍内进入原站务室的门口早已在翻新时被围板封掉。左侧为候车大堂及座椅，右侧为原有的站务室，现时只作为储物房之用。吉野川市内数个原设有站员的车站，包括阿波川岛站、学站及阿波山川站，都因应2010年无人化时，增设了自动售票机，不过本站由于一直以来每日乘车人数皆少于200人，比学站或阿波山川站的平均人数少约一半，所以直至现在仍未有加装自动售票机。设有侧式月台2座，提供2面2线的配置。有效长度为5辆。设计上和学站的轨道配置相同，