しかし、1282年(弘安5年)に内宮の造営料木に口出しをしたため禰宜を免除され、京都に移り住んだ。