起麻豆镇民林书馨、林永汜酝酿发动罢免县长，虽然在有关单位「疏导」下，纠纷最终平息。但也对胡氏的清誉造成影响。1960年，胡龙宝卸任台南县长。卸任后胡龙宝曾转任台湾省土地资源开发委员会副主任委员、台湾省农会总干事。1997年5月14日逝世，7月2日获李登辉总统发布《褒扬令》。