一方、社会的に容認されないとされるものの例には、既婚の女性の他、他人の妾、他人の側室、親の保護下にある未婚の娘との性的関係がある。また、身分制度の影響や、宗教支配の強い国や民族・宗教集団では、身分の異なる相手（異なるカーストなど）、異教徒の相手との通婚が禁じられていた。また儒教圏においては、儒教が厳しく解釈された地域・時代における父系親族（同姓不婚）との関係や婚姻があった。
宗教や民族・地域・時代によっては、同性愛が含まれる場合もある。近親相姦は、いくつかの社会でそれにまつわるタブー（インセスト・タブー）が存在する。
既婚者が不貞行為に及ぶ理由としては、セックスレス状態に陥っていたり、家庭からの現実逃避などが挙げられる。
語源.
江戸時代では「姦通」のほか、「密通」「不貞」「不義」という表現が使われ、日常的には「浮気」も用いられた。
本来は、不倫（ふりん）・不義密通も同じ意味であるが、現代日本語では、既婚者が配偶者以外の者と性交渉を持つ行為を主に不倫（ふりん）と呼ぶようになった。
日本.
不義密通というのは、要するに他人の保護下にある女性に対して保護者の許可無く（不義）、密かに性交渉を持つ（密通）ことであり、他人の妻、妾または娘が対象となる。男が未婚の場合、未婚の娘に結婚を申し込むことは可能であるが、家同士の関係で結婚が決まる時代においては、身分や貧富の差があった場合、許可されないことが多く、駆け落ち、心中といった悲劇につながった。
古代日本においては、一夫多妻制の上に招婿婚（妻問婚）という社会制度のため、夫が妻（正室）の家にいつもいるわけではないこともあり、夫が他の女性の家へと行っている時には別の男性が来ることもあったらしく、また男性が恋人の女性の家へと行くと、すでに他の男性が来ていたということもあった（『古今和歌集』に収録されている歌にも、多くその時に歌われたと思われるものがある）。ただし、その夫や恋人がそのことに対して声高に訴えたり、ましてや公にすることは、面子もあって滅多に無かったようだ。
平安時代では、やはり男は多くの女の元へ通うのが常識であり、一人の女性しか愛さない男は真面目人間として軽く見られた。しかし人の妻を奪うことは非常識とされ、世間の非難を浴びた。