Henry Hoʻolulu Pitman

Tersebab kesuksesan ayahnya dan keturunan ibunya dari istana Hawaii, keluarga Pitman dianggap cukup makmur dan menjadi tuan ruma keluarga istana ketika mereka mengunjungi Hilo. Di samping menjadi salah satu petani terkemuka di kota itu, ayahnya juga bekerja di kantor pemerintah sebagai manajer distrik Hilo. Ibu Henry, Kinoʻole, mewarisi kendali atas sebagian besar tanah di Hilo dan Ōlaʻa dari ayahnya, dan Raja Kamehameha III menganugerahi dia menggunakan "ahupuaʻa" Hilo setelah pernikahannya. Selama awal masa kecil Henry, keluarganya tinggal di dalam rumah besar yang dibangun oleh Benjamin Pitman pada tahun 1840, di kawasan yang sekarang dikenal dengan nama Niopola, salah satu resor tervaforit istana Hawaii kuno. Rumah tinggal itu juga dikenal dengan nama Spencer House setelah Pitman menjual kepada rekan bisnisnya, Kapten Thomas Spencer. Rumah itu kemudian menjadi situs Hilo Hotel, dibangun pada tahun 1888 dan hancur pada tahun 1956. Pada dasawarsa 1850-an keluarga ini pindah ke Ibu kota Honolulu.