Cuando Fernando tenía 6 años, fue prometido a Vittoria Colonna, hija del condotiero Fabrizio Colonna, y el matrimonio se celebró el 27 de diciembre de 1509 en Ischia.