山君极为宠爱妓生出身的张绿水，后因官妓人数众多，将成均馆和塔洞公园佛寺改建为妓院，这些行径都被指为“淫乱宫庭”。此外在1504年，因为有人匿名用谚文（现韩字所用文字）羞辱他，因而燕山君下令禁止使用谚文。
被废与过世.1506年中宗反正后，燕山君遭成希颜、朴元宗等朝臣废黜，被流放至江华岛，两个月后病死驾崩，得年30岁。因以暴君身分被废，因而无庙号、谥号、陵名等。燕山君在位晚期，曾有尊号「宪天弘道经文纬武」，不过在中宗反正之后就被废弃，尊号所用金印、尚瑞院藏花押与承命牌也被销毁。