中宮となった賢子との仲は非常に睦まじく、賢子の生前で白河天皇と関係を持っていたと記録に残る女性は、女御となった道子の他は典侍・藤原経子程度であり、数は必ずしも多くない。賢子の死後は正式な后や女御を入れず、側近に仕える多数の女官・女房らと関係を持った。晩年の寵妃となり権勢を持った祇園女御など、下級貴族の生まれでも公然と寵愛した。加えて関係を持った女性を次々と寵臣に与えたことから、崇徳天皇や平清盛が「白河法皇の御落胤」であるという噂が当時から広く信じられる原因ともなった。白河法皇は両性愛者だったと考えられる。奔放な女性関係と併せて男色も大いに好み、近臣として権勢を誇った藤原宗通、あるいは北面武士の藤原盛重、平為俊はいずれも男色関係における愛人出身といわれる。天下三不如意.『平家物語』の巻一には、白河法皇が「賀茂河の水、双六の賽、山法師、是ぞわが心にかなわぬもの」と嘆いたという逸話がある。「賀茂河の水」とは、古来氾濫を繰り返す暴れ川として知られていた賀茂川がもたらす水害のこと。「双六の賽(さい)」とは、盤双六の二つのサイコロが出す「賽の目」のことである。「山法師」とは、勝手な理由にかこつけては日吉山王社の神輿を担いで都に雪崩れ込み強訴を繰り返した比叡山延暦寺の僧衆(僧兵)のことである。法皇がこの三つだけはどうしても思うようにならないと愚痴をこぼすぐらいだということで、やがてこれが「天下三不如意」として広く一般にも知られるようになった。今日ではこれを、白河法皇の権力はこの三つ以外のものであれば何でも思い通りになると豪語するほど絶大なものだった、という逆説的な意味に取ることが多い。しかし「賀茂河の水」は「天災」、「双六の賽」は「確率」であって、これらは誰が何をしようとしてみてもそもそも思い通りになるものではないのに対し、「山法師」は名目こそは「神意」であってもその実は「政治」に他ならなかった。既成の優遇措置を朝廷が他の寺社にも与えようとしたり、寄進された荘園を国司が横領しようとしたりするたびに、延暦寺は山王社の暴れ神輿を盾に、公卿百官を力で捻じ伏せていたのである。「天下三不如意」の真意は、この延暦寺に対して打つ手もなく苦悶する白河法皇の姿にある。十訓抄での記述.