O'Duffy ble født i Monaghan. Han ble døpt Owen, men tok senere i bruk den irske stavemåten. Han var lærling hos en ingeniør i Wexford, og begynte så å arbeide som ingeniør og arkitekt i Monaghan.