Durante su infancia fue cuidado por su tío Juan Martínez de Luna y por su tío abuelo el antipapa Benedicto XIII de Aviñón, también conocido como el "Papa Luna".