小段与兔子坑庄为邻，南边为大湖庄，西边为大树林庄。1901年（日治明治三十四年）11月，全台废县厅改设二十厅，该庄隶属于桃仔园厅。1903年（明治三十六年），改名桃园厅。1909年（明治四十二年）10月，合併二十厅为十二厅，该庄隶属不变。1920年（大正九年），该庄改制为「山顶」大字，隶属于新竹州桃园郡龟山庄。战后龟山庄改制为龟山乡，隶属于新竹县，大字亦改制为村。1950年桃、竹、苗分治，龟山乡改隶属于桃园县。2014年12月桃园县升格为直辖桃园市，龟山乡改制为龟山区。
聚落