Hans far, som også het Richard Gardiner Casey, var gårdbruker og politiker fra Queensland. Han var av irsk avstamning. Hans mor, Evelyn, var datter av George Harris.