平安時代になると雅楽寮の規模は縮小され、宮中では左右の近衛府の官人や殿上人、寺社の楽人が雅楽の演奏を担うようになった。貴族の間では儀式や法要と関係のない私的な演奏会が催されるようになり、儀式芸能としての雅楽とは性格を異にする宮廷音楽としての雅楽が発展していった。この流れの中で催馬楽、朗詠、今様など娯楽的性格の強い謡物が成立した。唐楽、高麗楽の作風や音楽理論を基にした新曲も盛んに作られるようになった。
また、平安初期から中期にかけては楽制改革と呼ばれる漸進的な変更が行われた。
三韓、渤海の楽は右方の高麗楽として、唐、天竺、林邑などの楽は左方の唐楽として分類された。また、方響や阮咸など他の楽器で代用できる物や役割の重なる幾つもの楽器が廃止された。この他にいくつかの変更を経て現代の雅楽に近い形が整い本格的に日本独自の様式として発展していく事になる。
平安時代末期からは地下人の楽家が台頭するようになり、宮中では鎌倉時代後期以降はそれまで活動の主体であった殿上人の楽家に代わって雅楽演奏の中核をなすようになる。
この影響で龍笛に代わって地下人の楽器とされていた篳篥が楽曲の主旋律を担当するようになった。
室町時代になると応仁の乱が起こり戦場となった京都の楽人は地方へ四散し、宮中の雅楽の担い手である貴族の勢力は大きく衰退した。また、乱により楽譜などの資料や舞楽装束の大半が焼失した。乱が雅楽に与えた影響は大きく、多くの演奏技法や曲目が失われ宮廷音楽としての雅楽はほぼ断絶した。京都では乱の後しばらく残った楽所や各楽人によって細々と雅楽が伝承される状態が続く事になる。一方で四天王寺など京都から離れた寺社では乱の前後で雅楽の伝承にはあまり影響がなかったため、後に宮中雅楽の復興に大きく関わることになる。
正親町天皇、後陽成天皇の代になると四天王寺、興福寺などの寺社や地方から京都に楽人が集められ、雅楽の関わる宮廷儀式が少しずつ復興されていった。
江戸時代に入ると江戸幕府が南都楽所（奈良）、天王寺楽所（大阪）、京都方の楽所を中心に禁裏様楽人衆を創設し、宮中の雅楽の復興を行った。
雅楽を愛好する大名も増え、宮中では朝儀全般の復興が行われる中で古曲の復曲が盛んに行われるようになった。