幕府側からは綱広の母が徳川家康の次男・結城秀康の娘であることから幕府から追及はされなかったが、これを口実とした改易を恐れた家臣が綱広に隠居を要求するようになる。