Han flytte utenlands for å spille for den engelske klubben Charlton Athletic for en transfersum på 8 millioner i juni 2004. I sin første sesong med Londonklubben hadde han kun to opptredener for førstelaget, men da førstevalget Dean Kiely ble skadet, startet Andersen 2005-06-sesonen på laget. Senere gjorde en dårlig midt-sesong, hos hele Charlton, at Andersen ble satt ut av førstelaget til fordel for først Kiely, og deretter av Thomas Myhre, som etablerte seg som førstevalg da Charltons spill begynte å bli bedre. Andersen spilte riktignok de to siste kampene i sesongen, da Myhre var skadet.