Le Prince Gustave est né à La Haye, où vivaient ses parents en exil, après que son père a perdu la Bataille de la Montagne-Blanche et a été chassé des trônes de Bohème et du Palatinat. Il a été nommé d'après le Roi Gustave Adolphe de Suède, un ami proche de ses parents. Ses grands-parents paternels étaient Frédéric IV du Palatinat et de Louise-Juliana d'Orange-Nassau et de ses grands-parents maternels étaient Jacques Ier d'Angleterre et Anne de Danemark. Son père, un calviniste, est décédé le , lorsque Gustave était un bébé.