James Augustine Healy var sønn av en irsk innvandrer, en velbeslått plantasjeeier i Georgia. Moen, som var mulatt (beskrevet som av graden octoroon som var datidens terminologi - åttedels svart), var fortsatt slavinne. Han gikk først på skoler i de nordligere av de amerikanske statene, og deretter på det nygrunnlagte i Worcester. Etter at han besluttet seg for å bli prest, fortsatte han sine studier i Montreal og i Paris. Kunnskapen om hans afrikanske aner var stort sett bare kjent av hans mentorer i Kirken.