こうした佐野の活動は直接的であったために、遊廓の経営者たちからは敵視され、しばしば危険な目に遭った。当時は娼妓たちが自由廃業を認められていたはずだが、それを理解していない娼妓も多く、公娼制度において遊廓の営業が公的に認められている当時においては、廃娼運動を展開する佐野たちのほうが悪者と見なされていた。佐野が道を歩いていると、後を付け狙われることもあった。遊廓の手の者が、逃げた娼妓を追って留守中の佐野宅に上がり込んでおり、佐野が帰宅すると床に出刃包丁が突き刺さっていることもあった。遊廓に潜り込んだときに石を投げつけられることも頻繁にあり、旭橋の下で縛り上げられたり、首を絞め上げられることもあった。ある娼妓を連れて列車での逃亡中には、車内に追っ手がいると気づき、駅で降りてもなお追われる恐れがあることから、列車のスピードが緩んだときを見計らって、運を天に任せて娼妓とともに列車から飛び降りた。幸いにも地面に草が茂っていたために奇跡的に事なきを得て、神に感謝を述べ、野宿で一夜を過ごした後に次の駅まで歩き、無事に娼妓を逃がすことができた。あるときの講演会では壇上での熱弁中、客席に潜んでいた遊廓の妓夫が演壇に駆け上り、佐野に刀で斬りつけ、警官に取り押さえられた。襲われた佐野は一度は壇上に倒れたものの、一時的に気絶していたにすぎなかったか、または気絶のふりをして倒れていただけなのか、立ち上がって再び演説の続きを始めたという。この噂はたちまち、旭川中に広がった。またあるときは外出中、以前から佐野の行動を敵視していた遊廓の刺客たちに取り囲まれ、刃を突きつけられて「廃娼運動をやめなければ生かしてはおかない」と脅された。このとき佐野はまったく動じなかったといい、その顛末には諸説がある。戦中の戦争協力などの活動.戦中の軍の命令は絶対ということもあり、佐野は東京都世田谷区用賀の東條家に住み込み、秘書兼家庭教師として東條かつ子、その子供たち、孫たちとともに生活し、かつ子の手紙の代筆、子供の世話や教育、かつ子の相談相手など、様々な仕事をこなし、東條からも「佐野先生」と呼ばれた。この佐野の東條家での生活は、戦中当時の窮屈な生活の中、ほがらかな話題を人々に振りまいた。ただし首相の家とはいえ、国策に沿って食事は麦の混じった玄米であるなど、住居も生活も非常に質素だった。