不義密通というのは、要するに他人の保護下にある女性に対して保護者の許可無く（不義）、密かに性交渉を持つ（密通）ことであり、他人の妻、妾、娘が対象となる。男が未婚の場合、未婚の娘に結婚を申し込むことは可能であるが、家同士の関係で結婚が決まる時代においては、身分や貧富の差があった場合、許可されないことが多く、駆け落ち、心中といった悲劇につながった。古代日本においては、一夫多妻制の上に招婿婚（妻問婚）という社会制度のため、夫が妻（正室）の家にいつもいるわけではないこともあり、夫が他の女性の家へと行っている時には別の男性が来ることもあったらしく、また男性が恋人の女性の家へと行くと、すでに他の男性が来ていたということもあった（『古今和歌集』に収録されている歌にも、多くその時に歌われたと思われるものがある）。ただし、その夫や恋人がそのことに対して声高に訴えたり、ましてや公にすることは、面子もあって滅多に無かったようだ。平安時代では、やはり男は多くの女の元へ通うのが常識であり、一人の女性しか愛さない男は真面目人間として軽く見られた。しかし人の妻を奪うことは非常識とされ、世間の非難を浴びた。鎌倉時代には、御成敗式目第34条において不倫密懐に関する処罰が規定され、不倫は所領半分没収の上職務罷免とされ、武家文化の中で厳しく処罰される端緒となった。御成敗式目は戦国・江戸時代を通じて各家法に強い影響を与え、武家法の基礎となった（「密懐法」を参照）。これに対し、庶民の性風俗に関わる明確な取り決めは見られず、近世（江戸時代）以前には配偶者以外との性交渉は珍しいことではなく、近代に入っても戦前では特に農村などではその風潮が一部に残っていた。その一方では寛保2年の公事方御定書47条には不義密通を死罪とする重罰規定が見られるなど、かならずしも当時の真相を覗わせる研究に一貫性はみられない。近代に入ってからも、「浮気は男の甲斐性」などと既婚男性が未婚女性と不倫にいたる限り、容認する風潮が長く続いていた。当時既婚男性が未婚女性を愛人に持つことは容認されても既婚女性が浮気をすることは容認されないとされており、既婚女性が不倫に及んだ場合、1947年（昭和22年）までは、相手の男性から男女とも姦通罪という刑法の罪に問われた（現在の日本の法律では刑事的責任を問うことはない）。
不倫という言葉は本来は、倫理から外れたこと、人の道から外れたことを意味する。近年では特に、近代的な結婚制度（一夫一婦制）から逸脱した男女関係、すなわち配偶者のある男や女が配偶者以外の異性と恋愛・性行為を行うことを指して用いられる（配偶者のいない男や女が、配偶者がいる異性と恋愛・性交を行う場合も含む）。古くは姦通、不義密通といった（くだけた表現では浮気と呼ばれる。この言葉は未婚の恋人同士でも使われる）。TBSのテレビドラマ『金曜日の妻たちへ』（1983年）により「不倫」という言葉が広まった。
1943年（昭和18年）4月1日、高山市図書館が教育会から高山市へ移管され、市では新たに館則を制定し、職員を任命した。当時の蔵書数は5,539冊である。岐阜県で第二次世界大戦以前に設立された市町村立図書館は高山市図書館以外には岐阜市立図書館、大垣市立図書館、羽島市立図書館、蛭川村立済美図書館（現・中津川市立蛭川済美図書館）の4館しかなく、飛騨地方では唯一であった。当時の図書館の活動として特筆すべきは、1944年（昭和19年）8月に始まった婦人読書会である。婦人読書会は月に1回、図書館が会費を徴収して会員に1冊回し読みさせるというもので、戦中という厳しい情勢でも市民の教育熱・文化熱の熱さを窺うことができる。戦後間もない1949年（昭和24年）、読書サークル「紙魚の会」が発足し、名作を読む月例読書会の開催、年報の発行、文学散歩の企画などの活動を2008年（平成20年）まで継続し、図書館活動を支えることになる。1951年（昭和26年）度の蔵書数は7,663冊で年間290日開館し、34,133人が閲覧に訪れ、156,675冊が閲覧に供された。当時、高山市教育委員会が管轄していた社会教育施設は図書館と公民館だけであった。なお戦前から戦後間もない頃、古瀬文庫や角竹飛騨史料文庫など研究者向けに資料を公開する個人文庫が高山市内に点在していた。1959年（昭和34年）9月1日に、火曜日と金曜日に19時から21時まで図書館を開く夜間開館を開始、1962年（昭和37年）9月には姉妹都市のアメリカ合衆国・デンバーから贈られたインディアンの女性民族衣装、カウボーイハット、現地の風景写真などを展示するデンバー室を設置し、市民に公開した。1969年（昭和39年）8月7日、高山市民会館北側の別棟に移転し、1階を書庫、2階を閲覧室として供用開始した。1976年（昭和51年）10月31日、市制40周年記念事業の一環で進められていた新図書館の整備が完成、11月3日の文化の日から一般利用を開始した。図書館の建物は民間企業の社屋を改修したもので、鉄筋3階建て延床面積1,100m²で工費は4000万円だった。古い街並みの残る上二之町に立地したことから周囲になじむよう外壁の塗装は茶色系で統一し、前庭の植栽や自然石の配置により落ち着いた雰囲気作りが行われた。高山市の図書館整備に呼応して、高山市文化協会は「1冊の本寄贈運動」を同年10月に展開し、中でも北村兵四郎は4,000冊の寄贈を行った。また武田貞之は同年9月に自身の1973年（昭和48年）の日展入選版画『いらか』を寄贈した。新館は約21,000冊をもって出発し、1階に児童閲覧室・視聴覚室・書庫、2階に中高生閲覧室・書架・事務室、3階に一般閲覧室を設けていた。また市制40周年記念協賛事業として11月3日から11月7日まで名誉市民の瀧井孝作展を開催し、瀧井の手書き原稿、色紙、著書など約80点を展示した。旧図書館は高山市民会館の一部となり、大小のホールとして利用されることになった。1990年代に高山市図書館を訪れた海野弘は、「石庭があったりして、風流な図書館」、「高山をさらに深く知るには、一時間でも、ここに来てほしいもの」と称賛している。また2階に郷土資料室があり、職員が休憩室代わりにコーヒーを飲むのに使っていたと記している。1996年（平成8年）、高山市図書館は『源氏物語』と漢詩を読む講座を開設した。この講座からは『源氏物語』を講読するサークルが3つ生まれ、別の古典を扱った講座が派生するなど後の図書館活動に大きな影響を与えた。煥章館への移転前の職員数は7人で、そのうち正規職員は4人であった。