また薩長の人間が祇園、島原の花街を我が物顔に横行し、人もなげなふるまいが多かったことも佐渡を憤慨、嘆息させた。「酔うては眠る美人の膝、醒めては握る天下の権」などと途方もないことを彼らが抜かして大得意であったこと、口では非の打ちどころがない勤王論を唱えておきながら、やっていることは手もつけられぬ不行状を見るにつけ、佐渡は口と腹とは違いもせぬか、運よく天下をとったところでまた幕末の失態を再演するようなことはあるまいか、という印象を受けたという。また、岩倉具視と秘密裏に面会し、「朝廷は薩長による新政府支配を必ずしも是としていない。むしろ、これは将来の禍根となるとさえ思っている。しかし、朝廷は武力を持たない。いまここで彼らと戦えるのは奥羽諸藩しかない。奥羽が結束して彼らと一戦を交えるならば、日和見的態度をとっている各藩もこれと呼応してたたかうようになるであろう」というような岩倉の言を信じ、佐渡は新政府に対抗する意志を固めたという。これに異を唱えたのが、御用人の目時隆之進と目付役の中嶋源蔵だった。彼らは何度か佐渡と膝を交えて討論をしたが、ついにその意見が入れられないと悟ると、目時は長州藩邸へ走った。その四日後、中嶋は腹をかっ切り臓腑を壁に投げつけて「佐渡を呼べ。黒白決したい」と隣室の四戸に訴えた。佐渡がただちに中嶋のもとにかけよると、中嶋は「皇国に忠誠を尽くしてほしい、私のいうことをきいてくれなければ、死んでも死にきれない」と途切れ途切れに訴えた。佐渡は涙を流し、「王事に尽くす気持ちは私も同じだ。安らかに眠ってくれ」と言うと中嶋は無言で頷き事切れた。反薩長の佐渡の決心は変わらなかったが、中嶋の死を心からいたんだ。「中嶋君は立派な武士である。私とは意見を異にしたが、国を思う心は全く決して私に劣るものではない。私は彼を永遠の友としたい」と手厚く葬った。目時のことは一度も口に出さなかったが、佐渡は東京幽囚の際や処刑前、何度も中嶋のことを思った。「私が至らぬばかりにあのような死に方をさせて」と目頭を押さえていた。報恩寺で処刑を待つ佐渡が病気で生死の境をさまよい、なんとか峠を越した時も「このまま死んだら中嶋源蔵へ申し訳が立たなかった」と語ったという。