哲投笔从戎加入东江纵队，日军入侵汕头，张伯哲调任韩江纵队二支二大队政委、韩江纵队一支一大队政委，1945年受中共朝惠特委委派任潮安县工委书记，领导庄明瑞、陈义之、陈汉等人。抗战结束后，国共关系趋于紧张，1946年中共中央华东局调派干部林英杰、洪幼樵、张志忠等三人来台协助蔡孝干成立台湾省工作委会，洪幼樵任宣传部长兼台中地区负责人，张志忠任武装部长领导海山、桃园与新竹。1946年10月，张伯哲受中共指示前往香港筹办培侨中学 ，不久转赴上海与华东局取得联系，1947年派往台湾进行地下工作，找到在台湾省南投县