父亲和继母都不重视亨利，这种忽视令天生敏感的亨利难以忍受。皮特曼一家起初定居波士顿罗克斯伯里（），亨利在当地公立学校继续学业。不过，亨利离开夏威夷的时间应该比其他家人早。1860年美国人口普查时，亨利就住在老师所罗门·亚当斯（）家里，并且很可能是在波士顿牛顿上学。据称，皮特曼进入青春期后长得和亲生母亲非常像。从入伍记录来看，他皮肤黝黑、眼睛是淡褐色，黑发，身高一米七三。卡特在1897年首度出版的战时信件中简单介绍皮特曼的形象，称：他体型瘦长，身材笔直如箭，脸是完美的椭圆形，头发像乌鸦翅膀一样黑，眼睛