同年5月20日与总统当选人就职。是迄今最后一位出生于中国大陆、以及经由国民大会选举产生的副总统。任内行事低调，并被外界形容为「没有声音的副总统」。
退休生活.1996年5月20日，卸任后宣告退休。退休后，长年隐居于苗栗县头份市乡间。1998年1月22日，夫人徐曼云女士先一步离世，此后李元簇独居当地。
逝世.2017年3月8日4时15分，因慢性肾脏病放弃急救过世，享寿94岁（满93周岁）。2017年3月31日，在台北市立第一殡仪馆景行厅举行告别式，