細川藤孝
江戸時代後期に編修された『寛政重修諸家譜』によれば、幽斎の父は三淵晴員(和泉半国守護細川元常の弟)、母は智慶院(儒学者・国学者の清原宣賢の娘)である。同書の小記や享保年間に成立した『細川全記』などは、智慶院が将軍足利義晴の子をみごもったまま晴員に嫁いで幽斎を生んだと記しており、事実ならば足利義輝、義昭の庶兄にあたる。
『寛政重修諸家譜』は、幽斎は7歳で伯父の細川元常の養子になったとする。江戸時代前期に編纂された『寛永諸家系図伝』では、祖父の細川元有の養子となったとされるが、元有は明応9年(1500年)に戦死しており年代が合わない。また、元常の実子とされる細川晴貞を養父と見る説もある。この細川晴貞は天文19年(1550年)までは存在が記録されているため、(晴貞が元常の実子ならば)その生存中に元常がはたして幽斎を養子に迎えたかという疑問が生じるためである。
いずれにしろ幽斎は三淵氏から和泉守護細川氏の養子に入ったと長い間考えられていたが、そうではなく淡路守護細川氏につながる系統を継いだと考える説が近年有力になっている。『寛永諸家系図伝』編纂の際に息子の細川忠興が幕府に提出した文書には、「幽斎ハ、細川伊豆トヤラン、細川刑部少輔トヤランニヤシナハレ、御供衆ニ罷成候」とある。この「細川刑部少輔」については、従来『細川系図』の記載によって細川元常と理解されていたが、三淵晴員も仕えていた将軍義晴の近臣(御供衆)に刑部少輔を称する細川晴広がおり、その父の細川高久が伊豆守を称している事実から、彼らが幽斎の養父・養祖父だったとする説である。
天文3年(1534年)4月12日、三淵晴員の次男として京都東山にて誕生。天文9年(1540年)、7歳で和泉半国守護細川元常(三淵晴員の兄とされる)の養子となったという。しかし、晴員と共に12代将軍・足利義晴の近臣であった細川晴広を養父と見る説も近年有力視されている(#系譜)。天文15年(1546年)、13代将軍・義藤(後の義輝)の偏諱を受け、与一郎藤孝を名乗る。幕臣として義輝に仕え、天文21年(1552年)に従五位下兵部大輔に叙任される。
永禄8年(1565年)に義輝が三好三人衆に討たれ(永禄の変)、その弟の一乗院覚慶(後に還俗して足利義昭)が興福寺に幽閉されると、兄三淵藤英を始め一色藤長、和田惟政、仁木義政、米田求政らと協力してこれを救出し、近江国の六角義賢、若狭国の武田義統、越前国の朝倉義景らを頼って義昭の擁立に奔走した。当時は貧窮して灯籠の油にさえ事欠くほどで、仕方なく社殿から油を頂戴することもあるほどだったという。
その後、明智光秀を通じて尾張国の織田信長に助力を求めることとなる。永禄11年(1568年)9月、信長が義昭を奉じて入京し、藤孝もこれに従った。義昭が征夷大将軍に任じられた後(つまり10月18日より後)藤孝は9月29日に岩成友通から奪還した山城国勝竜寺城を与えられ(言継卿記)、天正9年(1581年)3月24日まで統治した、その翌日には猪子兵助が点検のために入城している。