元禄6年(1693年)、嫡男の忠品が第5代将軍・徳川綱吉の逆鱗に触れ、伊豆八丈島へと流罪にされたため、家禄が格下げとなり、奈良奉行を辞し、小普請入りする.
第