I sommeren 1863 invaderede Lee Nordstaterne en gang til i håbet om, at en sejr til Syden ville ødelægge Nordstaternes moral. En ung pennsylvansk kvinde, som så til fra sin veranda, da general Lee passerede forbi, bemærkede: "Jeg ville ønske, at han var en af vores". Han mødte Unionens styrker under George G. Meade i det 3 dage lange Slaget ved Gettysburg i Pennsylvania i juli. Slaget afstedkom de største tab i hele Borgerkrigen. Nogle af hans underordnede var nye og uerfarne på deres poster. Kavaleriet under J.E.B. Stuart holdt ham ikke underrettet om unionshærens bevægelser, og Lees beslutning om på slagets 3. dag at gennemføre et stort frontalangreb mod Unionens centrum – det katastrofale Pickett's Charge resulterede i store tab. Lee red ud for at møde sin slagne hær og råbte: "Det er alt sammen min fejl". Lee var tvunget til at trække sig tilbage. Selv om hans retræte blev blokeret af højvande i floderne, undslap han Meades ineffektive forfølgelse. Efter nederlaget ved Gettysburg indsendte Lee sin afskedsansøgning til præsident Jefferson Davis den 8. august 1863, men Davis afslog Lees anmodning. Om efteråret mødtes Lee og Meade igen i to mindre kampagner som ikke bragte en afslutning på det strategiske dødvande. Konføderationens hær overvandt aldrig helt de store tab, som den fik under tredages slaget i det sydlige Pennsylvania. Historikeren Shelby Foote konstaterede, at "Gettysburg var den pris, Sydstaterne betalte for at have Robert E. Lee som hærfører."