5月25日，赵建铭被台北地检署从家中拘提到案，随后被法院裁定收押禁见，泛蓝阵营开始出现罢免、倒阁的声浪，同日民进党正义连线的立法委员郭正亮亦抨击陈水扁「治国无能，治家无方」。2006年5月26日，民进党党内重要公职、党职人员苏贞昌、吕秀莲、游钖堃与谢长廷共同发布「给党员的公开信」。另一方面，亲民党主席宋楚瑜唿吁陈水扁为台湾人民福祉为重，主动下台，否则会发动总统罢免案。当天晚上国民党主席马英九与宋楚瑜会面，共同唿吁陈水扁总统「知所进退」。2006年5月29日，前民进党立法委员沈富雄证实曾陪同陈由豪去过