些帝庙的日常膳食、宫女、卫卒和每年多次祭祀活动带来沉重的财政负担。汉元帝登基后不久，就开始按照儒家礼法来修改宗庙制度。当时丞相韦玄成等人提出“高帝受命定天下，宜为帝者太祖之庙，世世不毁，承后属尽者宜毁……太上皇、孝惠、孝文、孝景庙皆亲尽宜毁”。大司马许嘉等人认为汉文帝“除诽谤，去肉刑，躬节俭，不受献，罪人不帑，不私其利，出美人，重绝人类，宾赐长老，收恤孤独，德厚侔天地，利泽施四海，宜为帝者太宗之庙”；廷尉尹忠等人认为武帝“改正朔，易服色，攘四夷，宜为世宗之庙”。最后汉元帝把高帝庙、文帝庙、武帝庙定为太祖