貞享2年(1685年)には側用人となるなど綱吉の寵愛は深かったが、城の完成を見ることはなく元禄2年(1689年)2月2日に突然改易され、大名である喜多見氏は滅びた(改易の原因は不明。