Carlos de Anjou ordenó que el infante fuera encerrado en la prisión del castillo de Canosa di Puglia, situado en la región italiana de Apulia, donde permaneció encerrado hasta el año 1280, en que fue trasladado al castel del Monte, llamado originalmente castillo de Santa María del Monte, situado a dieciséis kilómetros de la ciudad de Andria.