Fra 1554 mottok Walter pensjon av kurfyrsten og returnerte til Torgau der han bodde resten av sitt liv.