Herrehuset lå på det sted som nå er østsiden av Hornsey Road nær krysset til Seven Sisters Road. Etter at huset forfalt ble et nytt herrehus bygget i 1271 i sørøst. For å adskille det fra det første og ettersom det lå på en høyde, ble det kalt for Highbury, noe som også ga navn til området. Stedet for herskapshuset var antagelig benyttet som en romersk garnison som en sommerleir. I løpet av byggingen av det nye herskapshuset i 1781 ble det funnet murstein som kan ha vært romersk eller normannisk, men disse har siden gått tapt.