在1938年德奧合併後，謝爾夫再次被逮捕，成為蓋世太保監管的政治犯。然而，三個月後，他「」了一位需要離開奧地利的社會民主黨籍猶太人——律師的辦公室。他獲得艾斯勒的律師事務所所有權，最終並沒有歸還給艾斯勒。之後，他也參與維也納其他建築的雅利安化。然而，他也避免加入國家社會主義法律工作者聯盟，並與抵抗組織有通聯，如環繞後被處決的的天主教牧師，有與美國戰略情報局有所聯繫的、CASSIA。 在第二次世界大戰爆發後，他的獨生子雷茵霍爾德·谢尔夫被徵召入德意志國防軍並在1941年陣亡。在7月20日密谋案後，謝爾夫又坐牢了五週。