Hans far, Jacob Vreeswijk, eide flere drosjer og lastebiler. Hans mor het Jeanne, og han hadde tre yngre søstre, Marianne (født 1939), Ida (født 1943) og Tonny (født i Sverige i 1952). Vreeswijk har beskrevet sin barndom som ganske idyllisk, helt til andre verdenskrig og den tyske okkupasjonen av Nederland i 1940. Familien hadde før den tid sittet ganske godt i det, men dette endret seg under krigen. Da ble alle bilene til Jacob Vreeswijk beslaglagt, og dermed stoppet lastebilvirksomheten hans.