Tijdens de Tweede Wereldoorlog nam Schärf deel aan illegale activiteiten en onderhield contacten met de verzetsbeweging "O5". Anders dan veel andere sociaaldemocraten was Schärf voorstander van het herstel van de onafhankelijkheid van Oostenrijk. Na het mislukken van de aanslag op Hitler op 20 juli 1944 werd Schärf opgepakt door de Gestapo en voor de duur van vijf weken gevangengezet.