Området som i dag kalles Highbury var i middelalderen en del av herregården Tolentone, som er nevnt i Domesday Book. Hovedbygningen lå nær dagens kryss mellom Hornsey Road og Seven Sisters Road. Seinere forfalt husene, og nye bygninger ble reist oppe på bakken lengre mot sørøst. Denne ble kalt Highbury for å skille den fra den opprinnelige gården.