Шломо Рабинович народився в Бердичеві Київської губернії Російської імперії в 1915 році і в десятирічному віці з родиною переїхав до Палестини. У 1929 році він приєднався до єврейської воєнізованої організації «Хагана». Почавши свою участь в ній як зв'язківець, надалі Шломо працював в підпільних збройових майстернях, а потім став одним з перших командирів польових загонів «Хагани». В ході арабського повстання 1936—1939 років він керував «операціями відплати» в арабських селах.