Tower ble brukt som fengsel for personer av høy rang, og for religiøse dissidenter. Fanger av høy rang, som i enkelte tilfeller til og med var av kongelig byrd, ble gjerne plassert i nokså komfortable forhold, mens religiøse fanger hadde kummerligere forhold.