ホリー・マディソン
しかし2008年5月に行われたインタビューで、ヘフナーは「私はホリーをとても愛しているし、残りの人生も一緒にいられると思うが、結婚は私というパズルを構成するパーツではない。信じているって訳でもないが、私は結婚にあまり縁がないんだ」と語っている。後にマディソンはマンションでの生活を振り返り、当時ヘフナーに抱いていた感情はストックホルム症候群に起因すると語っている。
2005年、「The Girls Next Door」の第1シーズンに出演開始。これはE!ネットワークの番組で、マディソンを含むプレイボーイ・マンションの住人の生活を追うものである。マディソンはプレイメイトではなかったが、『PLAYBOY』2005年11月号はマディソンと同番組の共演者たちのヌードを掲載した。彼女たちは2006年9月号、2008年3月号、2009年2月号の表紙にも登場した。シーズン3と4では、マディソンはインターンとして『PLAYBOY』のスタジオで働き、後に若手写真編集者として働く姿も放送された。また、同番組のカレンダーのデザインと制作を手伝った。2009年2月、第6シーズンの終了に伴い同社での仕事を完全に辞めた。ヘフナーとの別離で気まずい立場に立たされたことによる。
2008年10月7日、「ヘフナーとの関係は終わったが、自分とブリジェット・マルクヮルト、ケンドラ・ウィルキンソンはまだ一緒に何かを撮影している」と発表した 。 これに対しヘフナーは「ホリーが終わったと言うなら終わったんだろう」と破局を認めた。