Province of Georgia
1751年、ハーバーシャムはジョージア植民地サヴァナにおいて、ジェイムズ・ハーバーシャム (James Habersham) とメアリー・ボルトン (Mary Bolton) の息子として生まれた。ハーバーシャムは私立学校で学び、プリンストン大学に進んだ。その後ハーバーシャムは商人および農場主として成功を収めた。