Biskopens brygge omtales første gang i 1297. Den lå innerst i Vågen og var i bruk fram til dagens kaier ble bygget omkring år 1900 ved å fylle ut i Vågen. Den omtales i 1600-talls kilder som Gårdsbryggen og senere som Torvbryggen. Fra inngangsporten til Kongsgård gikk det en vei rett ned til brygga.