Familien Scharff flyttet fra Oslo til Hønefoss i 1915. Der var det en rikt musikliv, meget takket være den landskjente trekkspillvirtuosen Harald Henschien, som startet en trekkspillfabrikk der. Jacob Scharff ble allerede i slutten av tenårene med i en trio som var Harald Henschiens faste akkompagnatører; en annen av trioens medlemmer var den noe yngre Erik Tronrud. Med årene opptrådte Scharff og Tronrud også som en fast duo.