I 1504 ble han overført til Spania. Først satt han fengslet i slottet Chinchilla de Montearagón i La Mancha, men etter et mislykket fluktforsøök ble han flyttet nordover til slottet La Mota i Medina del Campo, nær Segovia. Han klarte å flykte fra det slottet, og kom frem til Pamplona den 3. desember 1506. Der ble han hilst velkommen av sin svoger og kong Johan III av Navarra, som savnet en erfaren militær befalingsmann forut for den fryktede kastiljanske invasjonen ( den fant først sted i 1512).