Yamaguchi versuchte daraufhin bei der Sangiin-Wahl 2001 einen der vier Sitze der Präfektur Tokio für die Kōmeitō zurückzugewinnen; in der zur Wahl stehenden Hälfte war die Kōmeitō seit 1995, als die Partei Teil der NFP war, nicht repräsentiert. Er erhielt über 800 Tausend Stimmen und zog mit dem zweithöchsten Stimmenanteil ins Sangiin ein. 2007, 2013 und 2019 wurde er jeweils für weitere sechs Jahre wiedergewählt.