伦敦塔
议会的同届会议上通过了王位继承法（第一次王位继承法要求立安妮尚未出生的孩子为继承人，并判定玛丽为私生女），并强行要求所有人对该法宣誓，承认亨利和安妮是合法的王位继承人，否则将按叛国罪罪处。由于费舍尔拒绝宣誓，他于1534年4月26日被关入伦敦塔。由于各种要求他认罪的努力落空了，于是在11月，他再次被控叛国罪，在此之前，从3月1日开始剥夺他的财产，6月2日剥夺其罗切斯特主教一职。他在伦敦塔内被关一年多，期间允许他的朋友或仆人来送些食物，但是直到其生命终了都不允许一个牧师接近他。监禁在伦敦塔期间费舍尔曾写给托马斯·克伦威尔一封长信，信中提到了他在狱中恶劣的生活条件。