年，由从美国留学归来的同乡董维键介绍，在湖南省长公署任教育委员。第一次国共合作形成以后，加入中国国民党，任国民党长沙市党部常务委员。1926年7月，北伐军占领长沙，董维键在省政府任教育厅长，张唯一在该厅任科长、秘书长等职，并曾代理厅长。期间与共产党人郭亮、谢觉哉、熊瑾玎、董维键等人接近，马日事变后，避走汉口，由郭亮介绍加入中国共产党，在中共武汉市委协助技术工作，还兼任唐生智总司令部秘书。此后，他与熊瑾玎、董维键等一同离开武汉赴上海，开始长期的地下工作。从1928年上半年起，他担任中共中央文书科长，负