慶長14年（1609年）9月、幼き日の忠輝を養育し、この頃は幕府からの附家老であった皆川広照や、山田重辰・松平清直ら古くからの家臣が、忠輝の素行の改まらないことを駿府の家康に訴えたが、家康側からは逆に家老に不適格であるとされて広照・清直は改易、重辰は切腹となった。
庆长14年（1609年）9月，山田重辰・松平清直将忠辉的恶形恶状向骏府的家康告状，广照虽然向幕府申诉，但仍被家康认为是不适格的家老而遭到改易。