以才要下台。但许多官员都认为，陈全寿与媒体界及体育界缺乏沟通，而且过于相信曾帮他竞选国立台湾体育学院校长的黄启煌，让黄启煌身兼体委会7个重要职位、包揽体委会三分之二业务，偏听的结果让他多次作成错误的决策浪费预算。2007年1月底，陈全寿离开体委会，杨忠和接任体委会主委。