26年（民国15年），郑谦在颜惠庆摄政内阁中任内务总长，但未就任。此后，郑谦被任命为安国军司令部秘书长。张作霖在皇姑屯事件中死亡后，张学良继承了其地位，1928年（民国17年）7月，郑谦继续任东北保安司令部秘书长。1929年（民国18年）4月，郑谦在沈阳病逝。享年54岁。