Am 11. September desselben Jahres war es Card, der George W. Bush, während dieser eine Vorführung in einer Grundschule in Sarasota besuchte, ins Ohr flüsterte, dass Amerika von Terroristen angegriffen wird. Am 26. November 2005 war Card bei einem Dienstflug einem Absturz sehr nahe, als dichter Rauch sich im Cockpit des Gulfstream-Jets ausbreitete. Doch der Pilot konnte das Flugzeug noch landen; es gab keine Verletzten. Am 28. März 2006 gab das Weiße Haus bekannt, dass Card von seinem Posten zum 14. April zurücktreten werde. Sein Nachfolger wurde Joshua Bolten, der noch zuvor das Office of Management and Budget geleitet hatte. Als Stabschef war Card von Mitgliedern beider Parteien geschätzt und respektiert worden. In einem Interview der CNN-Reporterin Dana Bash zu Cards Rücktritt sagte der demokratische Senator Dick Durbin aus Illinois dazu: „Er ist einer der vernünftigsten Menschen im Weißen Haus, dessen Wort Gewicht hat...“