ジャスティファイ・マイ・ラヴ
「ジャスティファイ・マイ・ラヴ」は元々プリンスの弟子であり友人であるイングリッド・シャヴェイズとレニー・クラヴィッツによって書かれ録音された。彼とプロデューサーのアンドレ・ベッツが作曲し、シャヴェイズはクラヴィッツのために書いたポエムに基づいて歌詞を書いた。クラヴィッツはタイトルフックとコーラスをデモに追加し、マドンナはその中の1行を修正した。シャヴェイズはこの曲のクレジットに当初載っておらず、1992年にクラヴィッツを訴えた。彼女は法廷外での和解により、作品の共同執筆者として載せられた。訴訟が和解した際にシャヴェイズの弁護士スティーブンE.カーツはマドンナによる補作詞は訴訟の中で特に疑問視されていなかったことを明らかにしている。曲は『ウルトラ・マドンナ』発売の3日前である1990年11月6日にリリースされた。
クラヴィッツは、パブリック・エナミーのインストゥルメンタル曲「セキュリティ・オブ・ザ・ファースト・ワールド」におけるドラムパートを同意なしに使用した。このパートはジェームス・ブラウンの「ファンキー・ドラマー」のエンドドラムブレイクが元々の発祥であり、この部分は曲の基礎部分として使われた。マドンナのボーカルは主に話し声のようでほとんど歌わずまるで囁きのようだという点でこの曲は珍しいものであった。このボーカル・スタイルは彼女の次のアルバム『エロティカ』に引き継がれ、アルバムの中の数曲は本楽曲と同様のスタイルで歌われた。バックコーラスはマドンナとクラヴィッツが行った。チャベスは以前プリンスの1988年の曲「Eye No」に「スポークン・イントロ」を提供しており、1991年のデビューアルバムでのチャベスのボーカル・スタイルは「息もれ声のパッセージ」と呼ばれていた。
この曲はマドンナにとって9曲目のナンバーワン・シングルとなり、Billboard Hot 100で2位になり、オーストラリア、カナダ、フィンランド、ニュージーランド、イタリア、スイスなどのいくつかの国ではトップ10に入った。
ミュージック・ビデオは、ホテルの廊下を歩いているマドンナを仕事に疲れストレスを溜めてる女性として描写し、その女性が謎の男や女とのセックスに誘惑される様を描いている。その露骨で性的なイメージのためにビデオは世界中で論争を引き起こし、その後MTVや他のTVネットワークから放送禁止の措置を受けた。サドマゾヒズム、盗撮、バイセクシュアリティのシーンを含むこのビデオは、1990年12月3日、ABCの深夜のニュース番組『ナイトライン』で米国における初のテレビデビューを果たした。この曲は彼女のコンサートツアーのセットリストに4回に渡って選ばれ、一番最新の披露は2023年のThe Celebration Tourである。2003年、雑誌のQは「史上最高の1001曲」のリストの中で「ジャスティファイ・マイ・ラヴ」を842位に選んだ。