Su padre lo puso al cuidado de John Erskine, conde de Mar, y lejos de la madre del niño, porque Jacobo estaba preocupado de que la tendencia de la madre hacia el catolicismo podría afectar a su hijo.