Farens bestefar var i sin tid en fremstående rabbiner innenfor den hassidiske bevegelsen. Farens familie hadde bakgrunn fra Det jødiske bosetningsområdet og faren var tildels oppvokst i Vitebsk. Mendel snakket jiddisch da han vokste opp, men snakket aldri jiddisch med sønnen. I Albert-gaten ble det først og fremst snakket russisk, dernest tysk. Farens håndskrevne memorarer (skrevet etter andre verdenskrig) handler blant annet om det tapte hjemland: først utslettelsen av det jødiske samfunnet under holocaust og deretter den sovjetiske okkupasjonen som medførte at han aldri kunne reise tilbake til Riga. En stor del av deres jødiske slektninger og venner i Riga ble myrdet under holocaust i Latvia i 1941. Isaiah Berlins onkel var medlem av jøderådet i Riga under naziregimet.