I mars 2002 valgte Hvidovre-eieren og den profesjonelle keepreren Peter Schmeichel å avbryte sitt engasjement i klubben. Hvidovre forsøkte aktivt å kvitte seg med Andersen, som var en av bare to profesjonelle spillere på laget. I starten ble han etterspurt av flere klubber i engelsk fotball, blant annet Schmeichels klubb Aston Villa FC og Sunderland AFC, den danske landslagsmålvakten Thomas Sørensens klubb. Sunderland valgte å kjøpe Thomas Myhre i stedet, og ingen andre utenlandske tilbud viste seg. Andersen flyttet deretter Akademisk Boldklub (AB) i den danske superliga i august 2002. Mens han var i AB nådde han opp på 21 kamper for U21-landslaget, og blev den første keeperen til å vinne en talentpris, Årets danske U-21-talent. Etter gode prestasjoner for AB fikk Andersen sin landslagsdebut mot i mars 2004. Han ble valgt som andrekeeper for det danske landslaget i EURO 2004, hvor Thomas Sørensen ble foretrukket som den startende keeper i hver kamp.