壶帝原本有打算将其册为东宫，但考虑到光源氏背后缺乏有力的外戚做后台，因此最后赐姓源氏，将光源氏从皇子身份臣籍降下，改为一般臣民。光源氏长大后，曾有来自高丽的预言家预言：「（光源氏）一生将有三位子女，一位为帝（），一位为后（），其中较差的也能成为太政大臣（）」。（往后也是根据这个预言，光源氏晚年所迎娶的正妻怀孕时，光源氏曾怀疑非自己所出）。在生母桐壶更衣逝世后，光源氏的父亲桐壶帝听闻先帝的第四皇女貌似桐壶更衣，因而将其迎入宫中。该女因出身皇族，得以受封为女御，并居于清凉殿一旁的飞香舍中，称藤壶女御