La Torre del Infantado bastión de la villa de Potes y toda la Comarca de Liébana en su día fue propiedad del hijo de Alfonso XI, Don Tello, Señor de Liébana, y tiene su fundación atribuida a la familia Lama; también perteneció al segundo Marqués de Santillana y primer Duque del Infantado (título concedido por los Reyes Católicos, 1475), Don Diego Hurtado de Mendoza.
Este regio inmueble medieval, que ha sido escenario y partícipe de numerosas y sangrientas luchas bandarias, ha vivido múltiples vicisitudes, entre ellas, sirvió de reducto fundamental de defensa para los guerrilleros lebaniegos las 16 veces que los franceses entraron en la Villa durante la Guerra de la Independencia. Más tarde fue destinado a ser cárcel y posteriormente Ayuntamiento de la Villa.