湾清治末期至日治初期，小半山地区为一街庄，称为「小半山庄」，隶属于南投堡。该庄东北及东隔猫罗溪分别与月眉厝庄、营盘口庄为界，东南与林仔庄为邻，西南边、西边及西北边被草尾岭庄包围。1901年（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于南投厅。1903年（明治三十六年）6月，该庄编入「南投区」，隶属于南投厅。1909年（明治四十二年）10月，合併二十厅为十二厅，南投区仍隶属于南投厅。1920年（大正九年），全台地方制度大改正，废十二厅改设五州二厅，该庄改制为「小半山」大字，隶属于台中州南投郡