Hans hjem, lokalisert i Whitestone på Queens i New York, ble ødelagt under den amerikanske uavhengighetskrigen av britiske soldater som også arresterte hans hustru og nektet henne å bytte klær eller få nødvendig mat i ukevis i løpet av fangenskapet. Lewis' sønn Morgan tjenestegjorde i hæren i løpet av uavhengighetskrigen og holdt siden mange posisjoner i staten New York, inkludert som guvernør.