Ferdinand forsøkte å vinne fransk støtte ved å gifte seg med Germaine de Foix, Ludvig XIIs niese, men dette gjorde bare Filip mer populær. I januar 1506 forlot Filip Flandern sammen med sin kone, og drog mot Castilla. De forliste utenfor kysten av England og oppholdt seg der som Henrik VIII og Katarina av Aragóns gjester. De reiste ikke videre før 21. april, og kom hjem til gryende borgerkrig. Filip kan ha planlagt å gå i land i Andalucía for å samle støtte mot Ferdinand blant adelen der, men valgte i stedet La Coruña på nordvestkysten av Den iberiske halvøy. Her gikk den kastiljanske adelen over på Filips side, og da denne endelig møtte sin svigerfar 20. juni 1506, sa Ferdinand fra seg kravet på Castilla. De ble enige om å utelate Johanna fra statsstyret, på grunn av hennes sviktende mentale helse. Imidlertid gikk Ferdinand straks tilbake på avtalen, og selv om han trakk seg ut av Castilla, holdt han fast på retten til å gripe inn på sin datters vegne.