実弟の井伊直弼と同じく長野義言に師事し、直弼が第15代藩主となると、嘉永4年(1852年)には家老となり藩主、幕府大老の弟を支えた。