גרבר העיד על עצמו שלא היה קומוניסט, אך למרות זאת נחשד בקומוניזם על ידי חלק מחברי הקיבוץ, ונאלץ לעזוב ב-1932. במשך כארבע שנים עבד גרבר כפועל בניין. עם פרוץ המרד הערבי ב-1936 נענה לקריאת אגודת פועלי הבניין לצאת לשמירה על יישובים יהודיים, ושמר על קיבוץ עין החורש ואדמותיו.