.寛永9年（1632年），井伊直胜决定退隐，把井伊氏家督和安中藩藩主之位让给长子直好。正保二年（1645）直好转封至三河国西尾藩，万治二年（1659）又转封远江国挂川藩。两次直胜均有随行到新领地。寛文2年（1662年）7月11日，井伊直胜在远江国挂川城病逝，享年七十三岁。颇为讽刺的是，直胜当初被幕府认定为身体健康欠佳，然而到头来他却比夺去宗家家督之位的弟弟直孝更加长寿。其墓所就设于现今静冈县袋井市的可睡斋。井伊直胜的子孙作为谱代支流，继挂川以后又被幕府调迁到越后的两万石与板藩（曾为直江兼续的居城）