Narodil se jako jediný syn do rodiny ve Vídni v Rakousku. Když byl na střední škole, nacistické Německo anektovalo Rakousko. Rubinger s pomocí organizace Alija mládeže uprchl přes Itálii do mandátní Palestiny a usadil se v kibucu v údolí Jordánu. Jeho otec uprchl do Anglie, ale jeho matka zemřela během holokaustu. Ve druhé světové válce sloužil u židovské brigády britské armády v severní Africe a Evropě. Na dovolené v Paříži mu francouzská přítelkyně dala jako dárek fotoaparát a on si po čase fotografování oblíbil. Jeho první profesionální fotka zobrazovala židovské mladíky, jak šplhají na britský tank a oslavují plán OSN na rozdělení Palestiny a vytvoření izraelského státu.