Han hadde fått fiolinundervisning av musikeren, dirigenten og komponisten Leif Halvorsen, og tok selv imot fiolinelever på Hønefoss på slutten av 1920-tallet og inn på 1930-tallet. Han var sønn av butikkinnehaveren Alexander Moses (Alex.) Scharff, og våren 1935 gikk Jacob Scharff inn som partner i sin fars forretning. Samme år begynte han å fremføre offentlig sine egne komposisjoner, og lokalpressen på Ringerike roste dansemusikken som Scharff hadde skrevet. På denne tiden hadde han allerede spilt inn flere plater med sin faste medmusikant, trekkspilleren Erik Tronrud, og musikken deres hadde også blitt fremført i radio. Etter en konsert i Moss i 1937 skrev musikkanmelderen i Moss Dagblad blant annet:I 1941 skrev Ringerikes Blads anmelder i forkant av den siste konserten i en serie:I mars 1942 vant Scharffs tangokomposisjon «Zigane» tredjeprisen i en slagerkonkurranse avholdt av musikkmagasinet . Arrangøren mottok over 500 konkurransebidrag; vinneren ble foxtrotten «Over blånende fjell» av Kolbjørn Svendsen. Dommere i konkurransen var norske avdelingsdirektører fra de fire plateselskapene Telefunken Grammofonselskap, Odeon, His Master's Voice og Columbia.