他受宏达学院地下党组织派遣，返回山西从事地下工作。1935年被叛徒出卖，西安地下党被破坏，他率领同事进入陕北苏区。1936年进入延安，同年1月成为中国共产党党员。1937年2月，担任陕北富县抗日救国会会长、中共富县县委书记。1937年11月，担任中共陕甘宁边区委员会秘书长。1938年，霍士廉被派往山东，在郭洪涛的率领下来到泰安，参加开辟建立抗日根据地工作，以鲁北平原为中心的清河区担任特委书记。他到任后不久，根据中央和省委的决定，将共产党组织领导的“山东人民抗日救国第五军”，改编为“八路军山东游击第三支队