川家光将土井利胜和酒井忠胜首次提拔为大老。此后，在德川家纲的时代，酒井忠清和井伊直澄担任大老，第五代将军德川纲吉任命的大老堀田正俊成为当时的最高职位，大老的制度也开始固定。能够担任大老职务的人只限于井伊、酒井、土井、堀田四大家族。另外，柳泽保明（后改名柳泽吉保）也曾被任命为大老格。历史上有两位大老在任职期间被杀。堀田正俊在江户城内被身为若年寄的稻叶正休杀害。德川幕府晚期，大老井伊直弼在江戸城发生的樱田门外之变中，被水户藩和萨摩藩的武士刺杀。