Шломо Рабинович родился в Российской империи в 1915 году и в десятилетнем возрасте переехал в Палестину. В 1929 году он присоединился к еврейской военизированной организации «Хагана». Начав своё участие в ней как связист, в дальнейшем Шломо работал в подпольных оружейных мастерских, а затем стал одним из первых командиров полевых отрядов «Хаганы». В ходе арабского восстания 1936—1939 годов он руководил «операциями возмездия» в арабских деревнях.