或伊予立花站的两层建筑，港山站只为单层木制的小型建筑物，只设有服务柜位及已停用的站务室，并装有斜式屋顶及于车站入口的梯级部份装有屋檐。1部售票机则设于面向车站出入口。闸口为开放式闸口设计，亦装设了IC卡感应器。2008年3月进行了车站改善工程，将一部份的楼梯改为无障碍通道。由于站房非常细小亦较狭窄，一些摆放宣传单张或资料的宣传架亦要置于月台上。简易式洗手间同样亦要设于车站外围的单车停泊场旁。设有岛式月台1座，有效长度为3辆。由于为小型车站，月台上的设施相应较为简单，并集中在出入口旁约1节车厢长度内，包括候