浓国4万石及饭山城赏赐给广照，连同旧领合计7万5000石。但是忠辉性情暴烈，广照屡屡劝诫都不悔改。庆长14年（1609年）9月，山田重辰・松平清直将忠辉的恶形恶状向骏府的家康告状，广照虽然向幕府申诉，但仍被家康认为是不适格的家老而遭到改易。改易后于京都智积院剃发出家，号老圃斋。但是在元和9年（1623年）被徳川家光赦免并得到常陆新治郡府中1万石。在宽永2年（1625年）把家督之位让予嫡男隆庸后隐居，在2年后宽永4年（1627年）10月22日以80歳之龄死去。