成为公明党代表的神崎武法鼓励下，山口那津男参加众议院大选，代表公明党在旧东京都第10区出战并当选。1993年在新一届大选中在旧东京都第10区成功连任，随后担任细川内阁的防卫政务次官。1994年为进行在野党的整合，山口跟随部分公明党国会议员加入当时新成立新进党。1996年，山口那津男在众议院选举代表新进党出选东京都第17区，但败于当时代表自民党的新人平泽胜荣，被迫离开国会众议院。1998年，新进党解散后，山口与原属公明党的议员重组公明党。在2000年的选举中，山口再次出选东京都第17区，而且再度对阵自民党