西南边为崁下庄、三崁店庄。1901年（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于新竹厅。1909年（明治四十二年）10月，合併二十厅为十二厅，该庄隶属不变。1920年（大正九年），废十二厅改设五州二厅，该庄改制为「上山」大字，隶属于新竹州竹东郡芎林庄。战后芎林庄改制为芎林乡，隶属于新竹县，大字亦改制为村。1950年桃、竹、苗分治，芎林乡隶属不变。
交通.县道115号是观音至芎林的道路，大致以纵向蜿蜒经过上山地区东部，行经一段经芎林地区路段后，再以东北—西南走