Prinsen ble etterlatt i Skottland da foreldrene reiste sørover. Man fryktet at han ikke ville tåle den lange reisen, og at han ville ha det bedre hos barnepiker og tjenere i Skottland. I juli 1604 fulgte han etter. Alletta Carey, hoffmannen sir Robert Careys hollandskfødte kone, lærte ham å gå og snakke. Hun gav ham spesiallagde støvler av spansk lær og messing som styrket anklene hans.