大友皇子首任。758年（天平宝字二年）由藤原仲麻吕改称太师，764年复旧称。理论上为律令制度下的的最高长官，但自从关白出现后，太政大臣的政治力遭到架空、成为一个「荣衔」。平安时代末期，平清盛以任太政大臣之职建立第一个武家政权平氏政权。战国时代，关白丰臣秀吉、大御所德川家康曾出任身兼此职。而织田信长在逝世后也被追赠此职。江户时代德川秀忠和德川家齐两位征夷大将军生前出任此职；其他将军除了德川庆喜以外死后都追赠此职。日本最后一任太政大臣是三条实美，任职于明治天皇明治四年（1871年）至明治十八年（1885