Under bondeopprøret i 1381 brukte 20 000 opprørere under ledelse av Jack Straw Highbury som hovedkvarter etter først å ha plyndra og ødelagt husene, og gjennom flere århundrer etterpå ble ruinen av Highbury kalt «Jack Straw’s Castle». Gården ble konfiskert av Henrik VIII i 1540, og forble krongods inntil parlamentet begynte å selge parseller av det utover på 1600-tallet. I 1781 bygde den rike megleren John Dawes Highbury House på stedet der Jack Straw's Castle hadde stått. Highbury House ble revet i 1938 og erstattet av Eton House flats (i Leigh Road).