Kelly nació en Adelaida, Australia Meridional, el sexto de nueve hijos, en una familia católico-irlandesa.