担任台北市市长任内与陈水扁交恶。1997年，林瑞图指控陈水扁在「坞梭案」图利商人，且质疑台北市副市长陈师孟出国考察巨蛋被厂商招待，引起扁系告到民进党台北市党部，被民进党台北市党部施以停权三年的处分。之后林瑞图退出民进党。1998年，林瑞图出面指控陈水扁到澳门嫖妓，可林瑞图没找到陈水扁相关的出境资料，转而说不排除阿扁是搭直昇机或游泳去澳门，且说如果他拿不出证据就切腹自杀。最后阿扁提出不在场证明，还自己清白。2001年7月16日，林瑞图指控，东帝士关系企业在本年5月12日东方科学园区火灾11天前投保巨额火险