Beanstandungen von den Einwohnern Virginias über den mangelnden Entwicklungsfortschritt erreichten die Kommission um 1638, so dass dem zweiten Earl of Fingall, Christopher Plunkett, befohlen wurde, eine erhebliche Bürgschaft bei dem Kommissionsgericht einzureichen und die Kirche in Virginia zu bauen oder dem Verfall seiner Ländereien in der Grafschaft Cavan entgegenzutreten. Der anglikanische Bischof von Kilmore, damals William Bedell, beabsichtigte die Stadt in Übereinstimmung mit dem Kommissionseinverständnis anzulegen. Allerdings verursachten Ereignisse, die zu irischen Rebellion von 1641 führten und die irischen Konföderationskriege umhüllten, bei Virginia umfassende Zerstörung und Entvölkerung. Im Sommer 1642 haben Regierungstruppen das Castle völlig zerstört und die Lagerbestände an Heu, Mais und Torf verbrannt, um den geächteten Earl von Fingall für seine Unterstützung einer rebellischen Belagerung der Garnison bei Drogheda zu bestrafen. Seit den Williamite Kriegen, die zwischen 1688 und 1691 stattfanden, lebte der Landlord im Exil. Virginia wurde schließlich um das Jahr 1750 durch die abwesenden Plunketts verkauft, um die Montageschulden zu begleichen. Dieser Verkauf machte den Weg frei für einen neuen Landlord, Thomas Taylor, Lord Headfort, den Bau der Stadt fortzusetzen. Es ist verzeichnet, dass Taylors Großvater, auch ein Thomas Taylor, ein Kartograph war, der Sir William Petty bei der Down Survey während des 17. Jahrhunderts unterstützte.