一時、一橋慶喜(徳川慶喜)の側近となったが、急進的であったため罷免された(京都本圀寺党に加わったと言われる)。