俊博担任时任建设大臣远藤三郎的秘书，远藤于1971年过世后，俊博就回到了和歌山老家；四年后，当选为和歌山县议员，并连任两届。1983年，代表自由民主党参选衆议院议员并当选（后连续当选11届）。
小泽一郎的爱将.1990年，担任海部俊树内阁的运输政务次官，1992年，因为东京佐川急便事件导致竹下派分裂的时候，二阶俊博因为支持小泽一郎而加入了羽田派；隔年更跟随小泽一郎脱离自民党成立新生党，1994年加入新进党，1996年加入自由党；1999年，进入小渊内阁担任运输大臣兼北海道开发厅长官