С 1919 года Голомб был членом центрального комитета «Ахдут ха-Авода», а после её вхождения в партию «МАПАЙ» в 1930 году — членом центрального комитета новой партии. С 1920 года он был членом Ваад Леуми — главного органа исполнительной власти ишува, а с 1921 года — постоянным делегатом Всемирных сионистских конгрессов. Во время арабской атаки на еврейское поселение Тель-Хай в Галилее Голомб попытался провести туда подмогу из центра страны, но опоздал: поселение было захвачено арабами, восемь его защитников, включая Трумпельдора, погибли. Через год, когда начались , Голомб прибыл в город из Дгании с чемоданом оружия, и сумел организовать оборону еврейских кварталов. В 20-е годы он несколько раз выезжал за границу для секретных закупок оружия, а с 1931 года стал членом центрального командования «Хаганы». Во время арабского восстания 1936—1939 годов Голомб был одним из инициаторов создания «полевых отрядов» по защите еврейских поселений, придерживаясь доктрины жёсткого вооружённого отпора нападениям со стороны арабов, но отвергая идею «акций возмездия». Видя силу еврейских вооружённых сил в единстве, он несколько раз встречался с Владимиром Жаботинским, пытаясь добиться воссоединения «Хаганы» с отколовшимися от неё ревизионистскими вооружёнными организациями «ЭЦЕЛ» и «ЛЕХИ», но успеха не добился (объединению воспротивился лично лидер «МАПАЙ» Давид Бен-Гурион, объяснявший свою позицию «соображениями государственной дисциплины»). В последние годы жизни он стоял у истоков создания основной ударной силы «Хаганы» — отряда «Пальмах». В годы Второй мировой войны Голомб активно сотрудничал с британскими вооружёнными силами, способствовал включению палестинских евреев в операции британских спецслужб, подготовке еврейских диверсантов к выброске в оккупированные страны Европы, а ближе к концу войны — созданию Еврейской бригады в составе британской армии.