康泽曾留学莫斯科中山大学，1928年毕业，但不认同马列主义，认为共产主义不适合中国国情，回国后不久建议时任国民革命军总司令蒋中正採用苏联的政治保卫局制度（格别乌），保护政权。初在南京国军总部任侍从副官，中原大战结束后，1931年经蒋批准成立南昌行营别动总队，康泽任少将总队长，在江西剿共时期为蒋所重用。在红军曾建立过的根据地，康泽的别动总队特别活跃，督促地方进行清剿，恢复政权行使。在红军长征之际，蒋派薛岳率中央军追剿红军进入蜀、滇、黔地区，每个县都有康泽的别动总队，以之监视地方共产党员与赤色份子，作用极大