Membre d'una família humil, el seu naixement va coincidir amb l'Alçament de Pasqua contra el Regne Unit. La situació familiar de pobresa va persistir en el temps i el Crac del 1929 va mostrar a Doyle la duresa de les condicions de vida de la classe treballadora. Aviat es va vincular amb els moviments de l'esquerra política irlandesa, com l'Exèrcit Republicà Irlandès (IRA), enfrontats als "blueshirts" d'inspiració feixista liderats per Eoin O'Duffy. En una topada amb aquests va perdre la visió d'un ull.