Das Gelände liegt im Norden des Stadtteils am John Eliot Square, wo sich nach der Stadtgründung im Jahr 1630 das Stadtzentrum befand. Ankerpunkt des Parks ist das 1750 errichtete "Dillaway–Thomas House", das als das älteste noch stehende Gebäude in Roxbury gilt. Das in georgianischer Architektur errichtete Gebäude wurde ursprünglich als Pfarrhaus für "Oliver Peabody" errichtet, der im Jahr 1750 Pastor der "First Church of Roxbury" war. Es diente im Jahr 1775 während der Belagerung von Boston als Hauptquartier für General John Thomas und die Kontinentalarmee.