Isaiah fikk navn etter oldefaren som var en hassidisk jøde som hadde flyttet til Riga fra det jødiske bosettingsområdet for å unnslippe restriksjonene og undertrykkelsen der. Oldefaren gjorde det godt innenfor trelast og eide en tid 300.000 dekar skog langs Daugava. Isaiah Berlin den eldre (død 1908) hadde ikke egne barn og adoperte sine slektninger i Zuckerman-familien (Isaiah Berlins farfar og far). Berlin var svært kritisk til oldefaren som kombinerte religiøs fromhet og ekstravaganse på en, ifølge Berlin den yngre, bisarr og frastøtende måte.