生县府福利社出纳林清藤卷款公款四十七万元潜逃的事件，导致全县三千多名公教人员的油盐实务代金没有着落。林清藤最终被捕判刑，虽然该事情与高文瑞并无关连，但高文瑞仍被批「用人不当」。
卸任后.高文瑞卸任后，迁出县长官舍住在新营镇（今新营区）。后因天仁工商校长吴石山校长逝世，高文瑞于1960年出任天仁工商校长，直到1975年8月退休卸任。迁居于高雄。1977年5月5日下午三时，高文瑞因病逝世于高雄寓所。5月28日上午九时移灵高雄市鼓山区明诚中学后面广场设奠，九时三十分家祭、十时十分起公