期至日治初期，上横山地区为一街庄，称为「上横山庄」，隶属于捒东下堡。该庄西北与北势坑庄、竹林庄为邻，北与十三藔庄、六张犁庄为邻，东北与下员林庄为邻，东边为垻雅街，南边为下横山庄。1901年（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于台中厅。1903年（明治三十六年）6月，该庄编入「埧雅区」，仍隶属于台中厅。1909年（明治四十二年）10月，合併二十厅为十二厅，埧雅区隶属不变。1920年（大正九年），全台地方制度大改正，废十二厅改设五州二厅，该庄改制并雅化为「上横山」大字，隶属于台中州丰原