Los hijos de Enrique pasaron la mayor parte de su infancia en el castillo de Windsor y aparentemente fue muy unido a ellos, ya que rara vez pasaba largos períodos de tiempo separados de su familia.