I overgangsvinduet i sommeren 2006 så det ut til at Andersen var klar til å skifte til Leeds United på en leieavtale over èn sesong, men da Charlton insisterte på å ha en klausul, som betydde at de kunne hente Andersen tilbake når som helst, ble det ikke noe av avtalen. I første halvdel av sesongen 2006-07 måtte Andersen være vitne til, at den innleide keeperen Scott Carson ble førstevalget i Charlton, og i november 2006 signerte Andersen en kontrakt med danske Brøndby IF, som han ville slutte seg til i januar 2007. Etter høstsesongen 2008 mottok han målvaktenes egen pris, for sine gode prestasjoner.