皮特曼在夏威夷王国希洛出生并长大，母亲基诺利奥丽丽哈是夏威夷贵族，父亲本杰明·皮特曼是来自马萨诸塞州的美国移民先驱，亨利是家中长子。本杰明经营的捕鲸生意和糖类与咖啡作物种植园都很成功，基诺利奥丽丽哈的家族与夏威夷皇室关系密切，皮特曼一家声名显赫，是夏威夷岛和檀香山的地主。像其他夏威夷混血儿童一样，亨利和姐姐玛丽都在希洛的教会学校求学。1855年母亲去世后，父亲再娶传教士的寡妇，皮特曼家族又加入夏威夷的美国传教士社区。然而，第二任夫人也在不久后去世，父亲决定离开夏威夷，带着家人于1861年返回马萨诸塞州。