士出身，远祖为北条高时。自幼入藩校学习，毕业后留校任教。1839年赴江户游学，研究朱子学，结识藤田东湖、川路圣谟等人。回乡后，于1841年组织“实学党”，主张藩政改革，提倡学习西式医术、兵器，遭到保守派反对。1843年开私塾，命名为小楠堂。1857年被福井藩的松平春岳任命为顾问。1860年着《国是三论》，主张开国、殖产兴业，学习西方科技和政治制度，富国强兵，其改革获得成功。1862年松平春岳就任幕府政事总裁后，横井起草《国是七条》，提出七项改革意见，包括“兴海军强兵威”“归诸侯室家”“大开言路”“举贤为政官