昔多闽南泉州府安溪县移民开垦，清治时期隶属淡水厅八里坌堡，日治时期十二厅时代，新庄支厅下设有贵仔坑区，即为今泰山区之前身。区长役场则位于贵仔坑庄，今贵子里。大正9年（1920年）地方制度改革，新庄区与贵仔坑区合併为新庄街，属新庄郡。二次大战后，国民政府改新庄街为新庄镇，唯山脚居民皆感公务往返交通不便，遂有分治之议。1950年3月1日，正式设乡，由新庄镇划出、成立泰山乡。乡名取自境内奉祀移民的乡土神泰山显应祖师的庙宇，亦是本地信仰中心：「顶泰山巖」与「下泰山巖」两庙宇之「泰山」