Elven Honddu, som har gitt byen sitt walisiske navn, renner ut i Usk like ved byens sentrum. Noen hundre meter lenger opp renner også Tarrell ut i Usk. Før det ble bygget en bro over Usk ar Brecon et av de få steder man kunne krysse sikkert. Dette, kombinert med at Honddu renner ut i Usk ved Brecon, gjorde byen til et strategisk viktig sted. Normanneren Bernard av Neufmarche bygget derfor Brecon slott mot slutten av det 11. århundre.