10年作为旗本之子诞生于江户骏河台，幼名刚太郎。自幼被认为是个愚昧且顽劣的孩子，但随着年龄增长，逐渐显露出类拔萃的文武之才，14岁时便能独断行事。8岁时入学于门下，认识了契友，又先后从师剑术家与，取得资格，也向田口主计与学习砲术和柔术。天保11年（1840年）时，从田口门下的前辈结城启之助处听闻「开国论」，对他之后影响甚深。天保14年（1843年），17岁时初次登城谒见将军德川家庆，才能获得注目，以稚龄被任为两御番（书院番和之总称），由于率直敢言而多次见放，却每每因吝惜其才而召回。嘉永2年（1849年）