为深埋地底、无法开花的木材，把自己的居所取名为（），度过15年隐居的生活。这段时间他还热衷于学习石州流茶道，也学习了和歌、鼓、禅、枪术、居合术，显示出过人的智慧。有「（茶·歌·鼓）」的绰号。弘化3年（1846年），第14代藩主井伊直亮的内定继承人（井伊直中第11子，直弼的兄长）死去，直弼被选为彦根藩的后继，官赐从四位下侍从兼。嘉永2年（1849年），迁任，兼任玄蕃头。嘉永3年（1850年），直亮死后正式继承藩主，迁任（）。
幕末动乱.彦根藩时代进行了藩政改革，被认为是一代名