大久保一翁
このころ、幕閣では第13代将軍・徳川家定の後継を巡る将軍継嗣問題で対立があり、安政3年(1857年)の阿部正弘没後に大老となった井伊直弼が始めた一橋派の弾圧である安政の大獄で、忠寛は直弼から京都における志士の逮捕を命じられた。しかし忠寛は安政の大獄には否定的な考えであり、直弼の厳しすぎる処分に反対した。このため、直弼に疎まれるようになっていく。
そして忠寛の部下に質の悪い者がおり、志士の逮捕で横暴を振るっているのを知って激怒した忠寛は、この部下を厳重に処罰したが、これが直弼から志士の逮捕を怠っているととられ、奉行職を罷免された。