James P. Keheler var sønn av til James og Rita (født Cullinane) Keleher. Rita ble født i County Kerry i Irland. Hun kom til Chicago i 1920-årene, og trakk seg senere fra en stilling som registrert sykepleier for å oppdra sine barn. James Keleher senior var selger i Chicago for , en produsent av kirkelys.