Tras la muerte de Gregory, la casa pasó a su sobrino George Gregory y posteriormente en 1860 a un familiar lejano, John Sherwin.