Scharff var av jødisk herkomst, og ble arrestert av Stapo 26. oktober 1942, da det nazistiske statspolitiet hadde en masseaksjon for å pågripe alle jøder i Norge. Også faren og andre familiemedlemmer ble pågrepet. Etter å ha sittet fengslet i fangeleiren Berg ved Tønsberg, ble familien deportert til Tyskland. Jacob Scharff ble myrdet i gasskamrene i konsentrasjonsleiren Auschwitz under andre verdenskrig. Også hans far Alexander Moses Scharff og seks andre av Jacob Scharffs slektninger led den samme skjebnen; fire av dem var hans tre yngre brødre, hans svigerinne og to små nevøer født i 1940 og 1941. Jacobs mor Gitel Scharff var innlagt på sykehus i Tønsberg i oktober 1942, og berget livet fordi hun forble innlagt i Tønsberg resten av krigen. Jacobs søster Cecilie bodde i København med sin ektemann, og flyktet til Sverige i 1943.