在远江国挂川城病逝，享年七十三岁。颇为讽刺的是，直胜当初被幕府认定为身体健康欠佳，然而到头来他却比夺去宗家家督之位的弟弟直孝更加长寿。其墓所就设于现今静冈县袋井市的可睡斋。井伊直胜的子孙作为谱代支流，继挂川以后又被幕府调迁到越后的两万石与板藩（曾为直江兼续的居城），从此起一直持续到幕末不变。