Scharf begynte sin karriere som fullmektig i Justisministeriet i 1990. Han fortsatte i 1991 som ministersekretær for justisminister Hans Engell frem til 1993. I perioden i Justisministeriet var han sentral i beslutningen om at den tsjetsjenske opprørslederen Akmed Zakajev ikke skulle utleveres til Russland, — en beslutning som ikke var populær i Russland. Zakajev oppholdt seg i Danmark og russerne ønsket ham utlevert for terrorisme. Scharf sto bak den juridiske vurderingen for det danske nei. Fullmektig i Statsministeriet (1993–96) Juridisk attaché i EU-representasjonen i Brussel (1996–98) Kontorsjef i Justisministeriet (1998–02) Kommitteret Justisministeriet (2002–03) Politimester i Rikspolitiet,Politiavdelingen (2003–07) Direktør i CERTA Intelligence & Security A/S (2014–) I 2007 ble Scharf politimester i Politiets Efterretningstjeneste (PET). Han avløste Lars Findsen.