这般，直继不得不有些避讳意味的舍弃旧有名字，从此把名字改为直胜。
晚年.寛永9年（1632年），井伊直胜决定退隐，把井伊氏家督和安中藩藩主之位让给长子直好。正保二年（1645）直好转封至三河国西尾藩，万治二年（1659）又转封远江国挂川藩。两次直胜均有随行到新领地。寛文2年（1662年）7月11日，井伊直胜在远江国挂川城病逝，享年七十三岁。颇为讽刺的是，直胜当初被幕府认定为身体健康欠佳，然而到头来他却比夺去宗家家督之位的弟弟直孝更加长寿。其墓所就设于现今静冈县袋井市的可睡斋。