Sir Peter Elsvorthy hade en stor familj,