Second fils de Lord Augustus FitzRoy et petit-fils de Charles FitzRoy (2e duc de Grafton), FitzRoy rejoint le Régiment de la garde à Pied comme étendard en 1752. Il combat dans les batailles de Minden et Kirchdenkern au cours de la Guerre de Sept Ans et atteint le rang de capitaine en 1756 et lieutenant-colonel en 1758.