1857 lud Matsudaira Yoshinaga (1828–1890), Daimyō von Fukui (Provinz Echizen), Yokoi ein, um an der Schule seiner Domäne zu lehren. 1862 wurde Yoshinaga unvermittelt nach Edo gerufen, um die neu geschaffene Stelle des "Seiji Sōsai" (), als eine Art Präsident des Bakufu, zu übernehmen. Seine erste Aufgabe war es, die kaiserliche Zustimmung zum Harris-Vertrag zu erhalten, einem der „Ansei-Verträge“ mit fünf Kolonialmächten, zu deren Abschluss sich das Shogunat gezwungen sah. Dann wurde auch Yokoi nach Edo gerufen, um Yoshinaga bei der Reform des Bakufu die engere Zusammenarbeit mit dem Kaiser beratend zu unterstützen. Yokoi war für die Öffnung Japans für einen Außenhandel, für eine Reform der Finanzen der Domänen, eine stärkere Mitwirkung der großen Daimyō in der Regierung und für eine Stärkung der militärischen Position Japans, alles unter der Prämisse des "Kōbu gattai" (), also des Zusammenwirkens des Hofadels mit dem Schwertadel.