O'Duffy forble ungkar, og etter hans død begynte det å gå rykter om et homofilt forhold med skuespilleren Micheál MacLiammoir i 1930-årene. MacLiammoir forklarte at de begge hadde hatt et forhold til Mary Manning. Skuespillerens biograf skrev at forholdet var velkjent i vennekretsen, og at de hadde forblitt gode venner etter at forholdet endte.