Scheffler schrieb viel in Zeitschriften für Gehörlose. Er pflegte Freundschaften mit vielen ostpreußischen Künstlern, unter anderem mit Eduard Bischoff, Emil Stumpp und Kurt Bernecker, die seine Bücher illustrierten. Auch Agnes Miegel stand ihm nahe. Sie trafen sich in seinem „Sommerhaus“ – einem ausrangierten Eisenbahnwagen in Rantau an der Nordküste des Samlands. Als Scheffler 1940 beim 60. Geburtstag geehrt und mit Zuwendungen bedacht worden war, konnte er sich einen Kleingarten leisten, in dem er Kopskiekelwein herstellte. Den Garten zu einer neuen Kürbishütte zu machen, verhinderten die Umstände im Zweiten Weltkrieg. Den nationalsozialistischen Kampfliedern begegnete er mit sarkastischen Spottversen. Als die Ostpreußische Operation (1945) begonnen hatte, entkam er mit Agnes Miegel und seiner Freundin Erna Klein im Unternehmen Hannibal über die Ostsee. Drei Jahre verbrachte er im dänischen Flüchtlingslager Oksbøl. Dort schrieb er die »Gesänge hinterm Stacheldraht«. Bei seiner Trauung war Agnes Miegel Trauzeugin. Erna Scheffler starb im Lager.