初，关押过原中国国民党战犯（如沈醉、王陵基、曾扩情、徐远举、廖宗泽、王靖宇、孔庆桂等）及满洲国战犯。与此同时，犯有严重错误的中国共产党党内及党外高级干部也被关押于此。早期关押的犯人有高岗、饶漱石反党集团案及饶漱石、潘汉年、扬帆反革命集团案的主犯饶漱石、潘汉年、扬帆，胡风反革命集团案主犯胡风等。另外，由于日本共产党的北京机关发生内部对立，被视为「叛徒」的原政治局委员伊藤律从1960年到1979年亦被关押在此。文革开始后，特别是1967年底监狱实行军管后，监狱犯人勐增。着名的如王力、关锋、戚本禹于1968年