James Duggan var sønn av en kleshandler/skredder. Han utvandret i 1842 til USA, dit han var invitert av erkebiskopen av Saint Louis, Peter Richard Kenrick, til å studere ved presteseminaret i Cape Girardeau i Missouri.