台湾清治末期至日治初期，上山地区为一街庄，称为「上山庄」，隶属于竹北一堡。该庄西北与下山庄为邻，东北与石头坑庄为邻，东与水坑庄为邻，东南边为九芎林庄，西南边为崁下庄、三崁店庄。1901年（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于新竹厅。1909年（明治四十二年）10月，合併二十厅为十二厅，该庄隶属不变。1920年（大正九年），废十二厅改设五州二厅，该庄改制为「上山」大字，隶属于新竹州竹东郡芎林庄。战后芎林庄改制为芎林乡，隶属于新竹县，大字亦改制为村。1950年桃、竹、苗分治，芎林