11月，改任黑龙江省政务厅厅长。1920年（民国9年），任北京政府陆军部参事。1922年（民国11年），在奉系张作霖手下任东三省保安司令部秘书长。1925年（民国14年）2月，任江苏省省长，8月一度兼任江苏督办。后来，杨宇霆任江苏督办，郑谦专任省长。直系孙传芳击败杨宇霆后，同年12月郑谦被迫辞任。1926年（民国15年），郑谦在颜惠庆摄政内阁中任内务总长，但未就任。此后，郑谦被任命为安国军司令部秘书长。张作霖在皇姑屯事件中死亡后，张学良继承了其地位，1928年（民国17年）7月，郑谦继续任东北保安司