Le haut-doyen était le plus haut dignitaire ecclésiastique de Lisieux après l'évêque-comte. En 1769, Jean-Baptiste-René Le Bas de Fresne fait reconstruire la maison canoniale. En 1884, les frères des écoles chrétiennes transforment le bâtiment en école. Épargné par les bombardements de 1944, le bâtiment est acquis en 1978 par la ville de Lisieux pour y transférer son école de musique, l'actuelle École nationale de musique et de danse.