Freivalds gikk 21. mars 2006 av fra stillingen som utenriksminister, etter en tids kritikk rundt håndteringen av tsunamikatastrofen og senere massiv kritikk da Sverigedemokraternas websider ble stengt etter å ha offentliggjort Muhammed-karikaturene. Jan Eliasson erstattet Freivalds som utenriksminister.