FitzRoy era el octavo y más joven de los hijos de Henry Somerset, 5º duque de Beaufort, y Elizabeth hija del almirante Edward Boscawen.