Lostwithiels gamla grå slott var beläget med sina trädgårdar och sin park.