Asscher stammer på farssiden fra en jødisk familie som handlet med diamanter. Begge foreldrene var jurister. Hans oldefar var en av lederne i det jødiske eldsteråd i Amsterdam, og ble under andre verdenskrig sendt til konsentrasjonsleiren Bergen-Belsen. Hans onkel Edward Asscher driver et diamantselskap. Onkelen Hans Vonk var en kjent dirigent.