Schärf hatte Verbindungen zu Widerstandskreisen, wie zum Beispiel zur Widerstandsgruppe rund um Kaplan Heinrich Maier, und war nach dem Attentat vom 20. Juli 1944 auf Hitler – wie schon 1934 und 1938 – in politischer Haft; sie dauerte fünf Wochen. Sein Sohn Reinhold war zur Wehrmacht eingezogen worden und fiel in Russland.