Os pais de Rubin morreram com 10 meses de diferença um do outro, deixando Rubin como a única pessoa a cuidar de seu irmão mais novo, Gil, que tinha 13 anos na época. Jerry queria ensinar Gil sobre o mundo e planejava levá-lo para a Índia. Quando parentes ameaçaram processar para obter a guarda de Gil, Jerry decidiu levar seu irmão para Israel, em vez disso, se estabelecendo em Tel Aviv. Lá, Rubin trabalhou em um kibutz, e estudou sociologia enquanto seu irmão, que havia aprendido hebraico, decidiu permanecer em Israel e se mudou permanentemente para um kibutz. Antes de retornar ao ativismo social e político, Rubin fez uma visita a Havana, para aprender em primeira mão sobre a revolução cubana.