Espanjalaiset rakensivat paikalle alun perin muurin jo vuonna 1333 ja sitä paranneltiin vuonna 1627. Brittien vallattua Gibraltarin he tajusivat sen tärkeyden hieman pohjoisempana sijaitsevalle ankkuripaikalle. Paikka sai nykyisen nimensä vuonna 1761 ja se oli viittaus erääseen varuskunnan kirjaston kirjaan. Noin kolmenkymmenen vuoden päästä paikalle hankittiin parempia tykkejä, jotka saattoivat ampua noin kolmen kilometrin päähän. Ne olivat käytössä 1890–luvun lopulle. Tykeille rakennettiin lisäksi suojaukset ja paikalle tehtiin myös maan alle niiden miehistön asuinpaikka. Vielä lisäksi paikalle asennettiin valonheittimet. Kuitenkin ennen ensimmäistä maailmansotaa paikka jäi lähes käyttämättömäksi.