迁到此地，设置加腊埔隘，防御东方山区未汉化的原住民。。明治三十年（1897）十月十七日，伊能嘉矩查访该庄时，当地已是一个以武洛社族人为主，又杂混塔楼社族人及汉人（河洛人及客家人），共七十户（男：200 人；女：150 人）的聚落 。今泰山村内约半数户口为潘姓，仍存有马卡道族传统节庆。
地方传说.根据当地居民的整理，当地有阿姆赶牛人、大力士黑儿仔、四目公、大肚少女及阿姆祖七兄弟六大充满平埔风情的传说。