Robert Audley hade en besynnerlig motvilja för alt Återvända till Essex.