池田輝澄
しかし、急激な所領拡大で新たに召抱えた家臣団と、それより前に仕えていた古い家臣団との間で争いが起こるようになり、寛永15年(1638年)に起こった小頭と足軽による金銭上の対立から遂に新しい家老・小河四郎右衛門と譜代の家老・伊木伊織との対立が表面化し、寛永17年(1640年)にはお家騒動(池田騒動)に発展した。姻戚にあった林田藩主・建部政長の調停も失敗し、伊木派の藩士が多数脱藩した。幕府の裁定により伊木伊織以下20名が切腹、輝澄は同年7月26日に家中不取締りを理由に改易され、甥の鳥取藩主・池田光仲預かりとなった。輝澄は家康の外孫ということもあって鳥取藩内の鹿野において堪忍料1万石を与えられた。
その後は剃髪して石入と号した。寛文2年(1662年)4月18日に死去、享年59。四男の政直が跡を継いだ。