Walterstorffs liv ble i de neste tiårene preget av Danmarks krig mot England, hvor han blant annet ble ansvarlig for å føre forhandlingene med Horatio Nelson om en våpenhvile i forbindelse med Angrepet på Københavns red. Året etter ble han på nytt utnevnt til generalguvernør i Dansk Vestindia da den engelske okkupasjonen tok slutt 16. februar 1802. Allerede 27. oktober 1802 overlot han generalguvernørsposten til Baltharzar Frederik Mühlenfels og dro hjem til Danmark, hvor han blant annet ble sjef for Det nordre sjællandske Landeværnsregiment.