行政部部长之后，转任公务员惩戒委员会委员长兼司法院秘书长。第二次国共内战中国国民党败北，谢冠生逃往台湾。1950年（民国39年）5月，被任命为司法院副院长。1958年（民国47年）6月，任司法院院长。1971年（民国60年）12月22日，谢冠生在台北市病逝。享年75岁（满74歳）。
逸事.书法知名，时常为各大庙宇或建筑题字，行天宫之牌匾其中一面就出自于谢冠生之笔。行天三宫、关渡宫、北港朝天宫等名庙，以及于右任墓、中山北路的建中大楼都有他的真迹。