决意恭顺，小栗于是被罢免。后来大村益次郎闻知此策，大惊道：「如果此策实行，我等而今身首异处了！」庆应4年（1868年）1月，小栗提出定居上野国群马郡权田村（今群马县高崎市仓渕町权田）的申请书，郑重拒绝故交劝其流亡美国而给予的资金。2月，前来敦请他出任彰义队队长，小栗以「德川庆喜无与萨长相争的意图，我不打师出无名且有失大义的仗」为由拒绝之。3月，小栗一家移居至权田村东善寺，据村人纪录，小栗整修水路、准备开设私塾安然度过余生，并没看见训练农兵的景象。
蒙冤而死.庆应4年（1868年）