Både farens og morens foreldre var askenasiske jøder som hadde flyktet fra pogromene (forfølgelser) i det jødiske bosetningsområdet i Det russiske keiserdømmet. Farfaren Chaim Eliah Benkowitz, bosatt i Hrodna og senere i Vilnius, var hoffotograf for tsaren. Tidlig på 1900-tallet tok Benkowitz med seg familien til Sverige. Faren flyttet videre til Kristiansund og Trondheim og traff der Jo Benkows mor. Mormoren og morfaren flyttet til Norge rundt 1900 og drev frukthandel i Oslo.