契友，又先后从师剑术家与，取得资格，也向田口主计与学习砲术和柔术。天保11年（1840年）时，从田口门下的前辈结城启之助处听闻「开国论」，对他之后影响甚深。天保14年（1843年），17岁时初次登城谒见将军德川家庆，才能获得注目，以稚龄被任为两御番（书院番和之总称），由于率直敢言而多次见放，却每每因吝惜其才而召回。嘉永2年（1849年），与林田藩前藩主之女・道子结婚。嘉永6年（1853年）黑船来航，小栗被任为应对外国船只的诘警备役，此时认知到遵行锁国政策已久的日本已远远无法与美国平等交涉，小栗从此积极主