La Casa de la Panadería fue levantada durante la construcción de la Plaza Mayor, siendo Juan Gómez de Mora el encargado de su construcción, que terminó en 1619.