（现滋贺县彦根市）出生。幼名铁之介、铁三郎。由于是庶出，因此无法作为他家养子，17岁时以年俸300俵移居他屋，师从学习国学，自比为深埋地底、无法开花的木材，把自己的居所取名为（），度过15年隐居的生活。这段时间他还热衷于学习石州流茶道，也学习了和歌、鼓、禅、枪术、居合术，显示出过人的智慧。有「（茶·歌·鼓）」的绰号。弘化3年（1846年），第14代藩主井伊直亮的内定继承人（井伊直中第11子，直弼的兄长）死去，直弼被选为彦根藩的后继，官赐从四位下侍从兼。嘉永2年（1849年），迁任，兼任玄蕃头。嘉