I 1647 ble de With sendt til Brasil for å støtte den nederlandske kolonien der mot portugiserne. De Withs flåtestyrke var dårlig utstyrt, og samarbeidsproblemer med de lokale nederlandske myndighetene i Brasil førte til at de Withs flåte gradvis ble ødelagt på grunn av mangel på forsyninger. I november 1649 returnerte han til Nederland, der han ved ankomst ble arrestert og anklaget for ordrenekt og desertering. De With ble nær ved halshugget, men ble senere frikjent for flesteparten av forholdene. I september 1651 gikk de With inn i tjeneste igjen.