Con sus hermanos tampoco llevó una buena relación, no así con su hermano menor, el duque Carlos de Södermanland, en cuya educación Gustavo influyó sustancialmente.