Fengselet ble opprettet på sideresidensen til kommissaren for religiøse anliggender Inoue Masashige (1585–1661), kort etter at landet var blitt avstengt. Det oppstod idet ti pågrepne misjonærer ble ført til Edo og man trengte et sted å holde dem samlet. Blant de personer som ble holdt under bevoktning der, var: Pater Pedro Marques (1575–1657), portugisisk jesuitt, ankommet Japan i 1643 og straks pågrepet og innesperret. Han bodde her i tretten år. Pater Francisco Casalla, italiensk jesuitt, også ankommet i 1643. Fra japanske kilder heter det at han giftet seg med en japansk kvinne og bodde i en årrekke i Inoue Masahiges hus. Broder Andrea Vieyra, japaner av fødsel, ankommet i 1643 fra Manila. Han tok navnet Nampō og døde i Kirishitan Yashiki i 1678 og ble begravet i Muryō-ji. Pater Giuseppe Chiara, i fangenskapet fra 1646 til 1685. Jikuan, en annamitisk katolikk. Han kom i 1644 med den siste puljen jesuittermisjonærer, ble bragt til «kristenanlegget» og døde der i 1700, i en alder av 78 år. Han ble begravet i Muryō-in. Fader Giovanni Battista Sidotti (1668–1715), kom fra Filippinene til Japan i 1708, og var den aller siste som ble holdt fanget der ut livet. Han er kjent som samtalepartner til Arai Hakuseki, og døde der i 1715.