O'Dwyer ble født vest i Irland, som den gang var britisk. Etter å ha avbrutt den utdannelse han begynte på i 1907 til katolsk prest ved Universidad Pontificia de Salamanca, utvandret han i 1910 til USA. Der var han først arbeider. I 1916 giftet han seg med Catherine Lenihan, som han hadde møtt da han arbeidet som bartender på New Yorks Vanderbilt Hotel og hun var ansatt som en av Vanderbilts telefonvekseloperatører. Han ble så politimann i New York City. I 1923 fullførte han juridiske studier ved Fordham University.