认罪的努力落空了，于是在11月，他再次被控叛国罪，在此之前，从3月1日开始剥夺他的财产，6月2日剥夺其罗切斯特主教一职。他在伦敦塔内被关一年多，期间允许他的朋友或仆人来送些食物，但是直到其生命终了都不允许一个牧师接近他。监禁在伦敦塔期间费舍尔曾写给托马斯·克伦威尔一封长信，信中提到了他在狱中恶劣的生活条件。由于法律规定，只有恶意攻击国王的新头衔（英国教会首领）的人才会被判罪，因此费舍尔和托马斯·莫尔一样，始终保持沉默而免于罪责。但是，在5月7日，他中了理查德·瑞驰的圈套，正是此人作伪证让托马斯·莫尔罪名