James Darcy Freeman var sønn av trikkeføreren Robert Freeman og hans hustru Margaret Smith. Han fikk skolegangen hos Sisters of Charity i Elizabeth Bay og fortsatte ved St Mary's Cathedral College i Sydney. Han gikk på presteminaret i St Columba's i Springwood og St Patrick's Seminary i Manly og fortsatte i Roma ved Pontificio Collegio Urbano de Propaganda Fide.