近衛秀麿
撮影の為にアメリカへ向かう客船の中で偶然に秀麿と一緒になり、艶福家の秀麿を心配した兄・文麿からの「澤蘭子にさわらんこと。」という電報を秀麿が受けたのは有名な話であるが、忠告に反し夫婦同然となった。秀麿の渡欧の際も同行し女児・曄子(日本と中華民国の平和を願って、「日」と「華」が組み合字を使っている)を産んでいる。しかし、秀麿はドイツ陥落後にソ連軍によってシベリアに抑留された蘭子と曄子親子を捨ててさっさと外交特権で先に帰国した為に、曄子は敗戦直後の混乱に因る日本への過酷な引揚げ最中に体調を崩して父祖の地を踏むこともなく5歳で夭折した。蘭子はこのことで戦後に秀麿を告発する投稿、離縁条項の実行を求めて秀麿を告訴している。その後、蘭子は長命で2003年1月11日に満99歳で京都府京都市下京区の知人の産婦人科病院の一室で亡くなった。葬儀は質素なものであった。
エルナ・ライセル - 秀麿の滞欧時代の愛人。当時25歳のズデーテン出身のドイツ人女性。雑貨商の娘で、在留邦人相手の娼婦であったともいわれる。
北澤栄(1908年 - 1956年) - ソプラノ歌手
晩年、朝比奈隆に「もうアチラ(女性遊び)のほうはおやめになっては」と切り出され、秀麿は「でも、相手、ヨッ、喜んでおりますよ」と言い、朝比奈を唖然とさせたこともある。
また、これに先立つ1966年には音楽学校設立に関する手形詐欺事件に巻き込まれ、金融業者から手形をだまし取られた上に京都地裁に訴えられ、1966年9月30日、京都地裁で6000万円の損害賠償を命じられた上、1967年には大阪地検特捜部から1000万円の手形詐欺容疑で任意出頭を求められ、最終的に800万円の負債を清算するため東京赤坂の自宅を手放すことを余儀なくされるなど苦難の連続でもあった。1969年には創設されたばかりの日本フルトヴェングラー協会から会長就任を懇願され、引き受け講演も行っている。この講演は、協会盤CDとして聞くことができる。
晩年の演奏活動としては、1970年に初来日したオーボエ奏者ハインツ・ホリガーの伴奏(日本フィル)を行なっており、ダリウス・ミヨーのオーボエ協奏曲はこの時が日本初演であった。
1973年6月2日、前日から世田谷区野毛の新居で就寝中に脳内出血を起こし急死した。74歳没。秀麿が電話に出たら突然ヤクザのような男から「ばかやろう」とどなりつけられ、そのショックで死んだとのうわさもささやかれた。墓所は東京都練馬区桜台の広徳寺。
オーケストラの運営は、自腹でインフラ整備をしたにもかかわらず困難と失敗の連続であったが、亡くなる直前まで指揮活動や後進の指導にあたり、晩年の不遇な事項を別にすれば、「おやかた」の愛称にふさわしい活動を繰り広げた。
秀麿の没後に行なわれた追悼演奏会は、前年に分裂した「日本フィル(日本フィルハーモニー交響楽団)」と「新日本フィル(新日本フィルハーモニー交響楽団)」双方の楽員が、立場を超えて共に演奏した最初の機会であり、これも秀麿の人徳あっての出来事として記憶されている。