籍立委钟绍和、郑金玲以质询权为名，对游钖堃及其阁员进行不当言语攻击。游钖堃在委屈不能求全的情况下，率阁员离席至休息室，等待国会依照内规做必要的处理。除此之外，任内的渔会和农会信用部风波，也使他三次向总统陈水扁表达辞意。2005年初，因民进党未能在新一届立法院中取得过半数席次，游钖堃最终决定不再担任行政院长职务。2005年1月31日，游钖堃主持召开行政院会，宣布内阁总辞并获准。次日，谢长廷接任行政院长，游钖堃则返回总统府，继续担任总统府秘书长职务。游钖堃是陈水扁担任总统期间任职时间最长的阁揆，其三年任期也