Isabella Charlotte de Rohan-Chabot est née Isabella Charlotte FitzGerald, le à Leinster House à Dublin. Elle est la quatrième fille de William FitzGerald (2e duc de Leinster) et d'Emilia Olivia (née de Saint-Georges). Son oncle est lord Edward FitzGerald. Durant son enfance, elle vit dans les maisons familiales de Leinster House, de Carton House dans le comté de Kildare et de Frescati House à Blackrock. La famille fuit vers Dublin pendant la rébellion de 1798.