西園寺家の女中頭・奥村花子は、パリ講和会議に同伴させたことで話題となった。吉野作造は花子を同行させたことを批判している。また現地報道では「最もしとやかにして謙遜なる美人」「愛妾」などと評されている。大正13年（1924年）には女児加代子を出産するが、公望は頑として自分の子として認めず、入籍させなかった。加代子はその後花子の弟夫妻に養育されている。昭和3年（1928年）に西園寺家出入りの銀行員の子を妊娠し、執事の熊谷八十三、娘の園子、養子の八郎らが共同で花子を追放するよう西園寺に勧告し、3月2日に西園寺家から追放された。しかし4月6日には実母とともに坐漁荘を訪問する事件を起こしている。その後花子は腹膜炎にかかり、昭和4年（1929年）2月3日に死亡した。
元新橋・中村屋のふさ奴で、一女・園子をもうけた。駿河台の西園寺本邸に暮らしており、西園寺が「妻に似たものの」と形容し、新聞報道では「北の方」とも呼ばれた。
元新橋の芸者・玉八で、明治14年（1881年）にお座敷で出会った。父親は尾張竹腰氏の家老、高野瀬和人。気品のある美人であり、機転も利く女性であった。西園寺と同居していた時代は、二階に同居していた中江兆民の世話もしていた。西園寺の公使時代には彼の母親である斐子と同居している。娘の新子をもうけた。菊子は大磯の西園寺別邸の主人であり、西園寺が京都や興津で生活するようになると疎遠になっていった。大正6年（1917年）に大磯の別邸が池田成彬に売却された後は、娘の新子とその夫の八郎の邸宅の近くに住むようになった。以降、西園寺と会うことはほとんど無かったが、西園寺が死の床についた昭和15年（1940年）6月14日に面会している。
西園寺は生涯結婚せず、正妻はいなかった。明治13年、京都祇園井筒屋（現・祇園辰巳NEXUS）の芸妓・江良加代(当時18歳)を東京へ連れてきて結婚しようとするも、親族の反対に遭い断念した。一説には西園寺家の守神は弁才天であるため嫉妬深く、西園寺家は代々正妻はもたないという家憲があるという俗説があるが、これは誤りである。一方で、4人の女性を事実上の妻とした。
実父は右大臣・徳大寺公純、実母は千世浦斐子（宇佐神宮の社家末弘氏の正親盛澄の娘、後に正心院）、兄は3度にわたって侍従長となり、内大臣や宮内大臣も務めた徳大寺実則。弟に学校法人立命館理事の末弘威麿、住友財閥を継いで第15代住友吉左衛門を襲名し長く財界に君臨した住友友純（隆麿）がいる。
明治34年（1901年）、女子大学設立の援助を求め頻繁に中川小十郎邸を訪れていた成瀬仁蔵を後援し、日本女子大学校の設立発起人、創立委員に就任。中川を日本女子大学校創立事務幹事嘱託に置いた。
明治14年（1881年）、フランス留学中に西園寺と仲間同士だった岸本辰雄、宮城浩蔵、矢代操らが創設した明治法律学校（明治大学の前身）の講師に迎えられ、行政法の講義を担当するとともに法論会の会長にもなった。同校での講義は東洋自由新聞社長を辞任した後もしばらく続き、翌年3月に伊藤博文の随員として渡欧するときにやめたという。その後は明大関連の行事（創立30周年記念式など）に時々姿を見せ、晩年に至っても名誉教授の肩書を保持し続けた。同校が発行した『明法雑誌』第1号では創設者の一人として扱われているなど、西園寺を創設者の一人とする声はあるものの、現在では明治法律学校の協力者・功労者であっても創立者ではないと考えられている。
土曜の夜、お手伝いさんはおめかしをして街へと出かけていった。家の中には誰もいない。大喜びのトムは3匹の悪友（黒猫のブッチ、赤毛のジョー、灰色の子猫）を家の中へ呼び込み、ジャズパーティを始める。レコードを大量にかけ、ピアノを弾き、ワイングラスをいくつも並べてマリンバのように打ち鳴らす。トムは彼らにサンドイッチやパイなどのご馳走を用意する。一方、ジェリーはベッドに入って眠ろうとしていたが、壁の外のらんちき騒ぎのおかげで眠るどころではない。たまりかねてトム達に抗議しに行くが、例のごとくからかわれ、レコードの針が入った穴に落とされてしまう。ここでまた、ジェリーとトム、そして野良猫3匹によるドタバタが始まる。結局ジェリーは捕らえられ、ブラインドの紐でぐるぐる巻きにされてしまう。最後の手段でジェリーは、縛られたままで電話まで這いより、鼻でダイヤルを回す。電話をかけた先は、「オールナイトでトランプを楽しむ協会」〔旧版。現在のDVDは「ラッキーセブンサタデーナイトブリッジクラブ」〕つまりお手伝いさんの出かけ先だった。トムたちがパーティで騒動を起こしている事を知ったお手伝いさんは激怒し、猛スピードで夜の街を疾走するや家へ飛び込む。もちろんトムたちのパーティは中断。家の屋根が吹き飛ぶほどのドタバタとお仕置きの末、トムと悪友3匹は屋外に殴り飛ばされ、トーテムポールの如く壁に叩きつけられてしまった。ひと騒動が済んだ後、お手伝いさんはトムに土曜日を台無しにされたことをグチりながら、レコードをかけて落ち着こうとする。やっと安心して眠れると思ったジェリーだったが、レコードは先ほどまでトムたちがかけていたうるさいジャズであった。これではトムたちが居ても居なくても変わらずにウンザリ顔のジェリーだった。