Kort etter sønnens fødsel flyttet hans foreldre, James og Margaret, til Killarney. Familien bodde på en golfbane der, der James O'Flaherty arbeidet som . I de sene tenårene hadde unge O'Flaherty et og fikk et stipend til en lærerskole.