Desde sus más tiernos años descolló en él una vehemente afición a la náutica, a los viajes y a la astronomía, de tal modo que a los veinticinco años abandonó las cosas de la guerra (en que había dado pruebas de valor indómito, como gobernador de Ceuta que había sido en tiempo de las luchas con los rifeños), y se retiró a los Algarbes, donde, cerca del cabo de San Vicente, extremo occidental de Europa, en un sitio próximo a Sagres, fundó una villa que llamó Terra Naval, y que después llevó el nombre de Villa del Infante.