James Aloysius Hickey var sønn av James og Agnes (født Ryan) Hickey. Faren var tannlege. Han fikk sin utdannelse i Midland og Grand Rapids og på seminaret Sacred Heart College i Detroit. Deretter studerte han i Washington, D.C., først ved Theological College og deretter ved Catholic University of America.