Mary abandonó a su esposo Patrick cuando el pequeño George contaba sólo con dos meses de edad, así que fue criado por ella y enviado al instituto Cardinal Hayes, que abandonó a los catorce años para ingresar brevemente en el instituto Bishop Dubois de Harlem.