El palacio fue edificado en el lugar que antiguamente ocupó una fortaleza, y de ahí su nombre, ya que la palabra Zwinger (sinónimo de Ringmauer) se utilizaba para denominar el muro exterior circular que formaba parte de las fortalezas.