Å komme seg hjem var ikke lettere. Det kongelige paret reiste på hver sitt skip, og begge ble først angrepet i mai av bysantinske skip som forsøkte å erobre begge skipene for å ta dem til byen Bysants, etter sigende på ordre fra keiseren selv. De slapp unna angrepet uskadde, men dårlig vær drev Eleonores skip langt sørover mot Barbareskkysten. Ingenting ble hørt fra henne på to måneder før i midten av juli da Eleonores skip nådde fram til Palermo på Sicilia hvor hun fikk høre at både hun og ektemannen var blitt oppgitt som døde.