却每每因吝惜其才而召回。嘉永2年（1849年），与林田藩前藩主之女・道子结婚。嘉永6年（1853年）黑船来航，小栗被任为应对外国船只的诘警备役，此时认知到遵行锁国政策已久的日本已远远无法与美国平等交涉，小栗从此积极主张与外国通商，并有了造船厂的构想。安政2年（1855年），父亲因医师误诊而死去，家督继承。
赴美考察.安政7年（1860年），作为目付（监察）与正使一同赴美考察，经两个月的航程抵达了旧金山，由于小栗有与外国谈判之经验而显得神情从容，使美方常误将其作团长访问。而后在