James E. Quigley var sønn av James og Mary Lacey Quigley. Han kom til USA med sine foreldre da han var to år gammel; de bosatte seg i Lima i delstaten New York nær Rochester. Da han var ti år gammel ble han sendt for å bo hos sin onkel, fader Edward Quigley, som var kirkerektor for i det sentrale Buffalo. Etter å ha fullført St. Joseph's College i 1872, vant han en opptakseksamen for opptak på United States Military Academy, man oppgav fort sine militære ambisjoner for heller å studere til prest. Han begynte ved Our Lady of Angels Seminary i Niagara Falls i New York, og studerte senere også ved Universitetet i Innsbruck i Østerrike-Ungarn og Propagandakollegiet i Roma.