于永初，书始名《汉记》，不久，工作地点迁至南宫东观。后来刘珍、李尤等人相继去世，伏无忌、黄景等奉命续修〈诸王〉、〈王子〉、〈功臣〉、〈恩泽侯表〉及〈匈奴南单于〉、〈西羌传〉、〈地理志〉，此书自此始具规模。第三次修纂在汉桓帝元嘉元年（151年），桓帝命边韶、崔寔、朱穆、曹寿续修，作〈孝穆皇传〉、〈孝崇皇传〉和〈顺烈皇后传〉，又增安思等皇后入〈外威传〉，崔篆诸人入〈儒林传〉。崔寔、曹寿又与延笃作〈百官表〉和顺帝功臣〈孙程传〉、〈郭镇传〉，又作〈郑众〉、〈蔡伦〉等传，共撰成一百一十四篇。第四次修纂在汉灵帝