再令榎本武扬率舰队突入骏河湾以砲击切断其退路，从而能歼灭孤立无援的敌军，但庆喜不愿成为朝敌，决意恭顺，小栗于是被罢免。后来大村益次郎闻知此策，大惊道：「如果此策实行，我等而今身首异处了！」庆应4年（1868年）1月，小栗提出定居上野国群马郡权田村（今群马县高崎市仓渕町权田）的申请书，郑重拒绝故交劝其流亡美国而给予的资金。2月，前来敦请他出任彰义队队长，小栗以「德川庆喜无与萨长相争的意图，我不打师出无名且有失大义的仗」为由拒绝之。3月，小栗一家移居至权田村东善寺，据村人纪录，小栗整修水路、准备开设私塾安然度