禁于毗连赤柱拘留营的赤柱监狱，但未对祁礼宾採取任何行动；而另一边厢，祁礼宾亦多番到前身是滙丰总行大厦的日治政府总部，设法就事件向日方解释，但不得要领。未几，日方再控告祁礼宾从事谍报和非法将金钱带入赤柱拘留营，判处他入赤柱监狱当苦工三个月。他被短暂拘留于跑马地的宪兵队后，复于1943年6月被送入赤柱监狱，至于祁礼宾夫人和司徒永觉夫人则被送入赤柱拘留营。祁礼宾入狱初时的身体状况尚可，但监狱内的环境相当恶劣，而他更受到甚不人道的对待，他除了被关在笼子内，囚室灯光异常昏暗，而且到处都是虱子，再加上缺乏食水和食物供