第三皇女－女三宫为正室。但实际上，在葵之上逝世后，光源氏实质的正妻就一直是他亲手调教出来的理想情人－紫之上（又称紫姬、紫之君、若紫等），同时紫之上也是光源氏一生中的最爱。而除紫之上以外，光源氏还同许多女性之间有恋爱关系：六条御息所、空蝉、夕颜、末摘花、花散里、等。除和正妻葵之上之间的长子夕雾外，还有和藤壶中宫密通所生的冷泉帝、同明石之君所生的明石中宫。另外和女三宫之间还有名义上的次子－薰。在兄长即位为朱雀帝之后，外戚右大臣一派的势力大增，而身为右大臣派的核心人物－，原本打算将六妹胧月夜送入朱雀帝宫中