文久3年(1863年)3月、「不埒につき」永蟄居を命じられた。