Encargado inicialmente de los cuarenta empleados que tenía a su cargo como jardinero, poco a poco Brown asumió la gestión de la totalidad de la finca, encargándose tanto de los proyectos de jardinería como de los de construcción.