Dublin Castle
Джеймс Фицджеральд родился в 1570-х годах. Сын Джеральда Фицджеральда, 15-го графа Десмонда (ок. 1533—1583), и его второй жены Элеоноры Батлер. Его крестной матерью была королева Англии Елизавета Тюдор. Он жил в Ирландии в 1579 году, когда его отец присоединился ко Второму восстанию Десмонда против английской короны. Мать отправила Джеймса к сэру Уильяму Друри, лорду-депутату Ирландии, который заключил его под стражу в Дублинский замок. В августе 1582 года его мать жаловалась государственному секретарю, Уильяму Сесилу, лорду Берли, что образование её сына игнорируется и требовала лучшего ухода за ним. В 1583 году после гибели своего отца, Джеральда Фицджеральда, 15-го графа Десмонда, английское правительство получило петицию о переводе Джеймса Фицджеральда в Лондонский Тауэр. С 1584 по 1600 год Джеймс Фицджеральд провел в заключении в Лондонском Тауэре.