建城是在1628年统治台湾北部的西班牙人所兴建的「圣多明哥城」，但后来圣多明哥城遭到摧毁，1644年荷兰人于圣多明哥城原址附近予以重建，并命名为「安东尼堡」。而由于当时汉人称唿荷兰人为红毛，因此这个城就被他们称作「红毛城」。1724年，台湾府淡水捕盗同知王汧开始整修红毛城，增辟了四座外围城门。1867年以后，红毛城开始由英国政府租用，作为领事馆，并于其旁兴建领事官邸。太平洋战争期间，日本向英美宣战，并曾短暂查封红毛城，但于战后即被交还与英方。尔后，英国虽于1950年和中华民国断交，但仍持续使用红毛城作为其领