6岁的山口通过了司法考试，1982年3月31日，山口在东京注册成为律师。1990年，受日后成为公明党代表的神崎武法鼓励下，山口那津男参加众议院大选，代表公明党在旧东京都第10区出战并当选。1993年在新一届大选中在旧东京都第10区成功连任，随后担任细川内阁的防卫政务次官。1994年为进行在野党的整合，山口跟随部分公明党国会议员加入当时新成立新进党。1996年，山口那津男在众议院选举代表新进党出选东京都第17区，但败于当时代表自民党的新人平泽胜荣，被迫离开国会众议院。1998年，新进党解散后，山口与原