I 1628 var de With kaptein under Piet Hein, og var med på å raide en spansk sølvflåte utenfor Cuba. Av byttet på 11 millioner gylden fikk de With kun beholde 500 gylden selv, noe han anså som alt for lavt. Året etter gikk de With ut av orlogsflåten, skuffet over at marineledelsen hadde nektet Hein å forfremme de With. De With gikk da over i en administrativ stilling i sivil skipsfart.