桐壺帝の第二皇子として京都に生まれる。母は桐壺更衣。幼少の頃から光り輝くばかりの美貌と才能に恵まれ、「光る君（ひかるきみ）」と綽名される。母は三歳のとき亡くなった。母に似る女性藤壺への思慕が初恋となり、その面影を求めて生涯様々な女性と関係を持つ。父桐壺帝は光る君を東宮（皇太子）とすることを考えたが、実家の後援（後見）がないことを危ぶみ、また光る君が帝位につけば国は乱れると高麗人に予言されたこともあり、臣籍降下させ源氏の姓を与えた。
亡母に似ているとして父帝の後宮に入った藤壺を慕い、遂に一線を越えて子（後の冷泉帝）をなすが、密通の事実は世に知られることはなかった。この皇子の東宮時代から後見として支え、即位後に冷泉帝が事実を知り譲位を考えた時には固辞したが、後に臣下を越える准太上天皇を与えられた。以後、その邸宅の名を取って六条院と呼ばれる。
正妻は最初元服と同時に結婚した左大臣の娘葵の上、後に兄朱雀院の皇女・女三宮である。しかし源氏が理想の女性として育てた紫の上（若紫、紫の君とも呼ばれる）が葵の上の死後事実上の正妻であり、多くの夫人の中で彼女への愛が最も深かった。他、源氏の側室・愛人としては、六条御息所、空蝉、夕顔、末摘花、朧月夜、花散里、明石の御方などが登場し、従姉妹の朝顔斎院や六条御息所の娘の前斎宮（秋好中宮）にも心を寄せた。
兄の朱雀帝即位後、その外戚である右大臣・弘徽殿女御派の圧力や尚侍となっていた朧月夜との醜聞もあって須磨、後に明石へ隠退。この時、明石の御方と結ばれ、後の明石の中宮となる姫君が誕生する。帰京後は即位した冷泉帝の後見として復帰、秋好中宮を養女に迎えて冷泉帝の后とした。その後太政大臣となった源氏は、その栄華の象徴ともなる広大な四町の邸宅・六条院を造営した。西南の秋の町（六条御息所の旧邸）は秋好中宮の里邸に、自らは東南の春の町に紫の上や明石の姫君と住んだ。また東北の夏の町には花散里を（後に玉鬘もここに迎えられた）、西北の冬の町には明石の君を配し、さらに二条東院にもかつての愛人たちを引き取って世話をした。