Chifley var sønn av en smed av irsk katolsk avstamming. Han var en av fire brødre og ble for det meste oppdratt av bestefaren, som mistet alle sine sparepengene i bank-ulykken i 1892. Chifley adopterte bestefarens skepsis til de private bankene i tidlig alder. Han ble utdannet ved forskjellige romersk-katolske skoler i Bathurst, og han sluttet seg til New South Wales Railways.