しかし、忠俊はしばしば家光に諫言を繰り返したため、元和9年（1623年）10月19日には、老中を免職の上、上総大多喜藩（2万石）に減転封され、その後寛永2年（1625年）に除封され、下総国網戸・相模国溝郷・遠江小林を経て、相模今泉で蟄居する。
不过因为忠俊不断对家光谏言，在元和9年（1623年）10月19日被免去老中的职务，再减封至上总大多喜藩（2万石），在之后的宽永2年（1625年）被除封，经下总国网户、相模国沟乡、远江国小林，最后在相模国今泉蛰居。