寺伝によれば、元暦元年（1184年）、源詠法師の創建で、当初は大乗院と称したが、元応元年（1319年）に音楽寺に改めたという。
依据寺传，元历元年（1184年）时由源咏法师创建，虽当初称为大乘院，但在元应元年（1319年）改为音乐寺。