Fra 1774 av var Dunmore kontinuerlig i konflikt med forsamlingen i Virginia. Han forlot Williamsburg 8. juni 1775 og trakk seg tilbake til sin jakthytte, Porto Bello, og måtte søke tilflukt på det britiske krigsskipet «Fowey» i York River da den amerikanske uavhengighetskrigen begynte. Da han innså at han ikke kunne ta tilbake kontrollen i Virginia, returnerte han til Storbritannia i juli 1776.