Golomb s'oppose à l'idée selon laquelle la défense doit dépendre d'une petite élite et insiste plutôt sur le fait qu'elle incombe à la population juive en général. En 1922, il est envoyé à l'étranger pour acheter des armes pour la Haganah et jusqu'en 1924, il organise de jeunes pionniers en Europe. Durant les soulèvements arabes de 1936 à 1939, Golomb est l'un des initiateurs des Fosh, des unités terrestres confrontées aux agresseurs arabes.