しかし延宝9年(1681年)、娘・中納言典侍の生んだ霊元天皇第一皇子・一宮(後の済深法親王)の出家に反対して一宮を匿う等したため、勅命違反として子・公連、季伴と共に佐渡島に流罪となった(小倉事件)。