Han var uddannet jurist, og var sekretær for Nationalrådets socialdemokratiske præsident i den Første østrigske republik (1918 – 1934), og var medlem af forbundsrådet 1933-34. Efter Nazitysklands anneksion af Østrig i 1938, ariserede han i juni den jødiske advokat Arnold Eislers advokatpraksis. Schärf var i flere omgange i politisk fangenskab, og han var medlem af den østrigske modstandsgruppe O5.