文政8年（1825年）に第5代藩主となった堀田正睦は、2度にわたって幕府老中を務めた人物として知られる。1度目は水野忠邦とともに天保の改革を推進。安政2年に老中に再任され、ペリー来航以降は外国事務取扱の老中となり、ハリスとの日米修好通商条約締結などで奔走した。しかし将軍継嗣問題などで井伊直弼と対立し、安政5年（1858年）に老中を罷免され蟄居した。