Andersen startet sin karriere hos Hvidovre IFs ungdumslag, men flyttet senere til Brøndbys ungdomsrekker. Da han ikke ble sett på som et emne til keeperplassen i Brøndby over tid, forlot han Brøndby for å flytte tilbake til Hvidovre vinteren 1999. Andersen fikk sin seniordebut for Hvidovre IF i den nest øverste danske liga, 1. division, og ble annaerkjent som et stort talent. Han ble kalt opp til Danmarks U21-landslag i juni 2001.