学毕业。归国后，历任云贵总督署参事、宪政筹备处参事、安徽国税厅筹备处坐办、皖北税务局局长。1917年（民国6年）6月，就任黒龙江督署秘书长。同年11月，改任黑龙江省政务厅厅长。1920年（民国9年），任北京政府陆军部参事。1922年（民国11年），在奉系张作霖手下任东三省保安司令部秘书长。1925年（民国14年）2月，任江苏省省长，8月一度兼任江苏督办。后来，杨宇霆任江苏督办，郑谦专任省长。直系孙传芳击败杨宇霆后，同年12月郑谦被迫辞任。1926年（民国15年），郑谦在颜惠庆摄政内阁中任内务总长