1926年冬，国民革命军攻占武汉，谢冠生任武汉国民政府外交部秘书，参与收回汉口英租界、九江英租界事宜。南京国民政府成立后，谢冠生留在外交部，历任外交部秘书、条约委员会委员。同时，他还兼任国立中央大学法律系主任、法学院代院长。1930年4月，调任国民政府司法院参事处参事，参与起草《训政时期约法》。1934年10月，任国民政府司法行政部政务次长。1936年3月，任司法院秘书处秘书长。抗日战争爆发后，1937年8月升任司法行政部部长，一直任至1948年12月。1945年5月，当选中国国民党第六届中央监察委员。