飯田は1896年(明治29年)、能楽堂を発展的に解散させて「能楽会」を組織し、山階宮晃親王を総裁に、土方久元宮内大臣を会頭に推した。