W sierpniu Lee dołączył do Waszyngtona znajdującego się w Nowym Jorku. Artemus Ward wycofał się ze służby, co czyniło Lee pierwszym po głównodowodzącym. Komenderując lewym skrzydłem armii podczas odwrotu Waszyngtona z Manhattanu oraz starcia pod White Plains Lee doszedł do wniosku, iż siły patriotów powinny się wycofać do New Jersey. Waszyngton wahał się – Kongres nakazał mu utrzymanie garnizonu w manhattańskim Forcie Washington. Kiedy fort został stracony, a z nim zginęło 2900 żołnierzy i duże ilości zapasów, wściekły Lee uznał Waszyngtona za słabeusza i tchórza. W efekcie w listopadzie i grudniu niechętnie i powolnie wykonywał nadsyłane listownie rozkazy głównodowodzącego nakazujące mu ucieczkę z Nowego Jorku do New Jersey.