Edmund Collins var den yngste av fem barn i en irsk katolsk familie. Han vokste opp i Bermagui. Hans mor døde da han var fem år gammel.