Den første fangen som ble satt i Tower var Ranulf Flambard, som var biskop av Durham. Han ble i 1100 funnet skyldig i utpressing. Ranulf hadde selv vært ansvarlig for deler av utviklingen av Tower etter at den første arkitekten, Gundulf, flyttet tilbake til Rochester. Han ble også den første som flyktet fra Tower, noe han klarte å gjøre ved å klatre ned muren med et tau som ble smuglet inn i cellen i en vintønne. At ingen så noe unormalt i at en tønne vin ble levert til en fange sier også noe om komfortnivået han sonet under.