井上家に代わって、三河岡崎藩から本多利長が5万石で入る。しかし『寛政重修諸家譜』にもあるように「領内の政事よろしからず。さきに巡検使封地に至るのときも、其はからひ御むねに違ひしにより所領を公収せられ云々」と悪政が敷かれていた。利長は正室が早世すると、遊女に700両の大金を支払って身請けし、酒宴や女性に溺れる毎日を過ごした。このような藩主では家臣にも黒柳権右衛門や松本新太郎、松山勘左衛門ら奸臣が集って政務を専横し、スパイを領内に派遣して密告を奨励し、さらに「法度百か条」を制定して領民の生活を厳しく統制するなどした。さらに延宝8年（1680年）8月、領内を暴風雨と高潮が襲う大被害に見舞われると、遂に領民の不満は爆発して幕府に嘆願が行なわれた。幕府も看過できず、天和2年（1682年）2月22日、利長は江戸城において23か条における折檻状を受けて改易に処された。後に利長は、出羽村山藩主として復活した。
信濃国高遠藩士伊澤勝三郎（文谷）（高遠藩士武井堀右衛門の子で、高遠藩主内藤頼寧に召しだされた伊澤清治の子）の子として生まれる。慶應義塾普通部、第三高等中学校を経て、明治28年（1895年）、東京帝国大学法科大学を卒業、一旦愛知県属となり明治30年（1897年）内務省に入省する。以後山梨県と岐阜県の各県参事官、岐阜県・福井県・滋賀県の各県書記官、滋賀県事務官などを歴任した。明治40年（1907年）に内務大臣であった原敬に引き立てにより警視庁警視、次いで和歌山県知事を務めた。明治42年（1909年）7月に愛媛県知事、大正元年（1912年）12月に新潟県知事となる。大学時代に同期であった濱口雄幸の引き合わせで加藤高明と親交を結ぶが、大正2年（1913年）に第1次山本内閣が成立すると、加藤が総裁を務める同志会が政権与党である政友会と激しく対立し、加藤との親交が災いして休職処分となる。しかし翌大正3年（1914年）に第2次大隈内閣が成立して加藤が外務大臣に就任すると、一転して警視総監に栄進した。ところが内務大臣の大浦兼武が失脚した大浦事件に巻き込まれる形で辞職。直後の1916年10月5日に貴族院の勅選議員に勅任された。原敬総裁時代以降の政友会が内務省に干渉し、公正な人事を阻害していたという認識から、前任愛媛県知事の政友会を標榜した政策を転換するなどして政友会を敵視した。衆議院に席を持つことがなかった伊澤は政党の党員となることはなかったものの、自ら非政友会系政党（立憲同志会→憲政会→立憲民政党）の支持者である事を公言して憚らず、大正8年（1919年）には貴族院で院内会派の同成会を組織して、憲政会の加藤を側面から支援した。大正13年（1924年）の第2次護憲運動では、同成会は加藤ら護憲三派と歩調を合わせるかたちで清浦内閣の事実上の与党だった貴族院最大会派の研究会に真っ向から立ち向かい、伊澤はその先頭に立って容赦ない政府糾弾の矢を放ち続けた。この功績によって加藤高明内閣が成立すると台湾総督に任じられた。大正15年（1926年）には濱口雄幸の支援を受けて東京市長に選出されている。昭和2年（1927年）に政友会の田中義一内閣が成立すると、これに対抗すべく憲政会と政友本党の合同を実現させるために奔走する。水野文相優諚問題や鈴木内相選挙干渉問題でも田中内閣を厳しく糾弾した。その後濱口内閣成立の功により入閣を要請されるが固辞。そこで濱口は伊澤を文官としては初の朝鮮総督にしようと奔走するが、満州事変が拡大する時局に朝鮮に文官総督とは言語道断と軍部が反対して実現せず、これが異例の斎藤実元総督の再任につながった。その斎藤が内閣を組織することになると（斎藤内閣）、伊沢に入閣が要請されるが辞退している。顕職に就くことはなかったが、その一方で出身母体である内務省内には長年にわたって隠然とした影響力を持ちつづけた。当時は政権交代のたびに野党系となった知事が休職に追い込まれるのが常だったが、こうした政党による過度の内務省人事への介入に対しては批判の声も大きく、「党弊」と言われて不評であった。そこで伊沢は斎藤内閣に対して知事ほか高級官僚の身分保障規定（文官任用令11条）を復活することを提言。これで内務官僚のみならず、学者や世論からも支持を集めた。いわゆる「革新官僚」に対する影響力は強く、内務省では後藤文夫と勢力を二分した。しかし後藤の政党政治を骨抜きにしようとする画策には断固反対し、天皇機関説事件に絡んだ国体明徴運動に対しては厳しい批判を行った。このため後藤系の革新官僚や軍部からは旧体制の象徴的な存在として目されることになり、二・二六事件をはじめとする青年将校による尊皇討奸の計画においても襲撃候補者として度々名前が挙がったが、閣僚経験のない伊澤を襲っても社会的な反響は望めないとそのたびに見送られて命拾いをしている。逆に治安担当者として二・二六事件で襲われたのは当時内相だった後藤の方だった。昭和10年（1935年）に内閣審議会委員となり、後に新体制運動にも関与するが、これもやがて後藤に主導権を奪われる。昭和13年（1938年）の国家総動員法の審議では、貴族院では数少ない反対票を投じている。昭和15年（1940年）11月には枢密顧問官に任命され、そのまま最後の顧問官の一人として枢密院の幕引きを行った。戦後の昭和22年（1947年）12月に公職追放となり、その後しばらくして死亡した。