Jakob Scharf er sønn av Ole Scharf, som har en lang karriere bak seg innenfor etaten, som politimester i Nakskov, viserikspolitisjef og til sist politimester i Helsingør. Jakob Scharf vokste opp i Espergærde og Nakskov og ble i 1990 cand.jur. fra Københavns Universitet.