หอราชกรมานุสรณ์และหอพงศานุสรณ์ สร้างในสมัยรัชกาลที่ ๔ ตั้งอยู่บนกำแพงแก้ว ด้านหลังพระอุโบสถทางทิศเหนือ ภายในประดิษฐานพระพุทธรูปประจำรัชกาลต่างๆในสมัยอยุธยาหอหนึ่ง และในสมัยรัตนโกสินทร์อีกหอหนึ่ง ภายในเขียนภาพพระราชพงศาวดารกรุงศรีอยุธยา ซึ่งเป็นฝีมือของขรัวอินโข่ง จิตรกรไทยที่มีฝีมือดีที่สุดในสมัยนั้น