威杰里明显无法再履行职务，经过多次拒绝接受退休安排，他在倍受压力下才于1980年4月提早退休，由唐纳森勋爵（Lord Donaldson）暂任，后来再由莱恩勋爵（Lord Lane）正式接任。
晚年生涯.退休以后，威杰里一直待在伦敦切尔西家中休养，患上失智症的他无法再担任公职和出席公开活动。一年多后，他在1981年7月26日于家中逝世，终年70岁，他在逝世前两天才刚度过其70岁生日。为表彰其在司法界的表现，威杰里曾于1971年获艾希特大学颁授荣誉法学博士学位，随后又于1976年分别