于刘邦发迹前和被尊为太上皇之后的记载极缺乏，晋代小说式文献《拾遗记》说太公在刘邦起兵前常佩一刀，长三尺，后投炉中冶炼成一把新剑，太公把新剑赐刘邦，刘邦长佩于身。汉朝一统天下后，吕后把这把剑藏于宝库之中。《西京杂记》另有则故事说道太公当上太上皇以后移居长安深宫一直闷闷不乐。刘邦询问的结果才知道太公「以平生所好皆屠贩少年。酤酒卖余。斗鸡蹴踘。以此为欢。今皆无此。故以不乐」。刘邦于是营造新丰城，把太上皇过去一起娱乐的老朋友都搬迁进去，太上皇才高兴起来。前197年，太公在栎阳宫去世，后来葬于万年（今中国陕西