12年（1841年）5月15日自己辞职。这年闰1月家齐死去。由于将军・德川家庆与老中首座・水野忠邦不断肃清家齐派的缘故、直亮因恐惧卷入其中而自发辞职。之后根据幕命前往相模戒备异国船只。直亮并无亲生子女、将弟弟井伊直元迎为养子，以期成为继任。而直元却在弘化3年（1846年）早夭、于是将同为兄弟的井伊直弼迎为养子，成为其继任者。嘉永3年（1850年）10月1日、在彦根死去。享年57。之后养子井伊直弼继承家督之位。