I 1883 virket det sannsynlig at man var klare for å rive paviljongen, og Villiers møtte Goaddard og oppmålingsmannen Thomas James Robertson for å sørge for at han fikk den delen av tomten som ikke trengtes slik at han kunne bygge en ny paviljong der. De gikk med på å hjelpe ham, mot av en viss W.W. Grey fikk et hjørne av tomten til en pub. Det viste seg etterhvert av Grey var Robertsons bror, til tross for at de hadde forskjellige etternavn.