第八皇女，光子内亲王(朱宫)所建的。当时将东福门院(后水尾上皇的皇后，将军德川秀忠的女儿和子)去世后女院御所一部份的建筑物搬移至此，同时扩建成为中御茶屋。上皇驾崩后，光子内亲王剃度出家，将此地改为林丘寺。明治18年(1885年)境内的区域陆续返还于宫内省，正式编入离宫。昭和39年(1964年)征购了上、中、下御茶屋之间，一共8万多平方公尺的水田作为附属农地，以确保景观维持。乐只轩是为光子内亲王营造的最早的建筑，后来内亲王的山庄扩建为林丘寺。乐只轩的南面对着庭院的一面，设有带屋檐的走廊，低板铺设