由于貌似生母，光源氏很快的爱上藤壶女御，最后甚至和其私通，使藤壶女御怀有身孕并生下一子（日后的冷泉帝）。两人之间密通之事，只有暗中替其牵线的女房－王命妇及一名僧都知晓，而冷泉帝即位后从僧都口中知道了自己的出生秘密，基于尊敬生父的心态，下诏赐予光源氏准太上天皇的地位。光源氏最初的正妻是在他12岁行元服礼时的「添卧」－左大臣之女葵之上。晚年又迎兄长朱雀院的第三皇女－女三宫为正室。但实际上，在葵之上逝世后，光源氏实质的正妻就一直是他亲手调教出来的理想情人－紫之上（又称紫姬、紫之君、若紫等），同时紫之上也是光