Da Jacob Robinson var guttunge flyttet familien til den lille byen Vištytis nord for Suvalki (polsk: Suwałki) på grensen til Øst-Preussen i Det tyske keiserrike (nå i Marijampolė fylke sør i Litauen). Byen var multietnisk med tysk, jødisk (omkring en tredjedel av innbyggerne), polsk, litauisk og russisk befolkning. Politisk var en stor del av jødene hebraisk-sionistisk orientert. Robinson gikk på den jødiske religiøse skolen ().