Hans foreldre var John og Ann (f. Logan) Scullin fra grevskapet Londonderry i Nord-Irland. Faren var en jernbanearbeider som hadde emigrert til Australia da han var i 20-årene, mens moren hadde kommet etter noe senere.