Vanaf 17 februari 1649 werd voor de tweede maal getracht over land een veldtocht naar het zuiden te ondernemen Tweede Slag bij Guararapes. Op 19 februari liep ook die in een hinderlaag tijdens terugtrekkende bewegingen van de heuvels van Guararapes om dekking te zoeken tegen de verzengende hitte. Een poging van De With om in april alsnog de suikervloot te onderscheppen, mislukte. Zijn vloot bleef nu grotendeels voor de rede liggen, terwijl conditie van schepen en bemanning snel verslechterde door onvoldoende onderhoud, voedseltekort en ziekte. Wegens allerlei ruzies en affaires ontsloeg De With maar liefst zes kapiteins. De reden voor de wanhopige pogingen tot uitbraak over land was dat men eigenlijk te weinig gebied beheerste om de bevolking te kunnen voeden. De extra manschappen verergerden deze situatie. Zelfs De With zelf leed honger en meldde in zijn journaal zichtbaar te zijn afgevallen. In juli besloot de Hoge Raad om hem met de drie slechtste schepen terug naar het vaderland te sturen om hulp te halen maar op 9 augustus zag men daarvan af; er was niet eens voldoende voedsel beschikbaar om ze voor de reis uit te rusten. De With kreeg opdracht om zijn vloot te repareren maar zonder dat daarvoor de middelen ter beschikking werden gesteld. Voedsel dat hij voor eigen rekening kocht, werd in beslag genomen. Op 10 november 1649 was voor De With de maat vol en hij vertrok eigenmachtig met twee schepen, de robuuste "Brederode" en de "Gelderland" — de meeste andere waren niet zeewaardig meer — naar Nederland, naar eigen woorden "liever de Grote Turk [de sultan van Turkije] willende dienen dan de West-Indische Compagnie op dien Hongerberg". Overigens was de "Dolfijn" al op eigen gezag teruggevaren en zou de "Overijssel" die maand hetzelfde doen, in beide gevallen na muiterij van de bemanning.