De With ble født på en gård nær Den Briel, der året før Maarten Tromp, også en berømt admiral, kom til verden året før. I legendene kjente de hverandre og var venner eller rivaler i ungdomsårene – skjønt ingen historiske belegg finnes for dette. De Withs far døde i 1602. Hans familie var mennonitter og pasifister, men selv var han allerede som ung beredt til voldsanvandelse, lot seg døpe av en kalvinistisk prest, og anså seg ikke lenger bundet til voldsavståelse. Etter noen kortvarigere gjøremål la han som 17-åring ut på sin første sjøreise til Nederlandsk Ostindia, som skipsgutt på et skip ført av kaptein Geen Huygenszoon Schapenham, som seilte med Jan Pieterszoon Coens flåte.