Henry Hoʻolulu Pitman

Setelah kematian ibunya, Kinoʻole pada 1855, ayah Pitman menikah lagi dengan Maria Louisa Walsworth Kinney, janda seorang misionaris Amerika Serikat Rev. Henry Kinney. Keluarga Kinney merupakan bagian dari misionaris Twelfth Company dari American Board of Commissioners for Foreign Missions yang datang pada tahun 1848. Pernikahan itu disejajarkan anak-anak Pitman dengan komunitas misionaris Amerika. Mereka disebut "sepupu" oleh anak-anak misionaris dan dianggap sebagai bagian dari keluarga besar misionaris dari Hawaiʻi. Ibu tiri pertama meninggal pada tahun 1858 setelah memberikan anak keempat, seorang perempuan bernama Maria Kinoʻole (1858–1892). Keluarga Pitman kembali ke Massachusetts pada tahun 1860 di mana ayahnya menikah untuk ketiga kalinya dengan Martha Ball, memberikan empat anak dari ibu tiri lainnya. Menurut buku biografi terbitan 1887 karya Robert G. Carter, seorang pribadi yang akhirnya mengabdi di perusahaan yang sama sebagai Pitman, dia terlantar setelah ibunya meninggal akibat ayah dan ibu tirinya. Dia melanjutkan pendidikannya di sekolah umum di Roxbury, di mana keluarga Pitman tinggal selama beberapa waktu. The Konsensus Amerika Serikat 1860 mencatat Pitman di bawah bimbingan gurunya, Solomon Adams penghuni yang dididik di Newton, juga di kawasan Boston.