Самые ранние документальные свидетельства строительных работ в замке Холтон показывают, что в течение XV и начала XVI веков он постоянно достраивался. Между 1450 и 1457 годами была построена новая привратная башня. Нет данных, что замок участвовал в войне Роз, и это маловероятно ввиду его удалённости от мест основных событий. Тем не менее, в Перечне королевских замков 1609 года говорится, что замок нуждается в ремонте. В период правления Тюдоров замок использовался скорее не как крепость, а как тюрьма, административный центр и место судебных процессов. В 1580—1581 годах замок предназначался для заключения рекузантов — католиков, отказавшихся принять англиканскую церковь, — однако нет свидетельств, что он использовался в этом качестве.