De Witte flyttet til Delft i 1642 hvor han studerte under Evert van Aelst og her oppholdt han seg til 1649. Han slo seg senere ned i Amsterdam, hvor hans første ektefelle, Geerje Arents, døde i 1655. Han giftet seg deretter med 23 år gamle Lysbeth van der Plas, som kom til å få dårlig innflytelse på De Wittes halvvoksne datter fra første ekteskap. I desember 1659 ble begge arrestert for tyveri. Lysbeth var på dette tidspunkt gravid, men måtte allikevel forlate byen i 6 år. Hun bodde utenfor byportene hvor hun døde i 1663.