Seine berufliche Laufbahn begann er 1930 als Pianist in Bands der Ostküste unter anderem bei dem Sänger und Schauspieler Rudy Vallee und arbeitete als Arrangeur am Broadway für George Gershwins Musical "Girl Crazy". Seit 1933 arbeitete in Hollywood für den Film, wo er unter anderem für Al Jolson bei Warner Bros. Filmmusik arrangierte, sowie für Alice Faye bei 20th Century Fox und für Bing Crosby bei Paramount Pictures. Scharf arbeitete in der Folge für verschiedene Filmfirmen, besonders für die auf Billigproduktionen spezialisierte Republic Pictures. Für die Filmmusik, die er für das Filmdrama "Mercy Island" (1941) komponiert hatte, erhielt er zusammen mit Cy Feuer seine erste Oscarnominierung.