（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于新竹厅。1909年（明治四十二年）10月，合併二十厅为十二厅，该庄隶属不变。1920年（大正九年），废十二厅改设五州二厅，该庄改制为「上山」大字，隶属于新竹州竹东郡芎林庄。战后芎林庄改制为芎林乡，隶属于新竹县，大字亦改制为村。1950年桃、竹、苗分治，芎林乡隶属不变。
交通.县道115号是观音至芎林的道路，大致以纵向蜿蜒经过上山地区东部，行经一段经芎林地区路段后，再以东北—西南走向经过本地区南端。由该道路向北可前往新埔