Levi-Civita tok opp igjen tensoranalysen i forbindelse med Einsteins søken etter en generell relativitetsteori. De var også i aktiv korrespondanse mens dette foregikk. Riemannsk geometri fikk dermed direkte fysisk relevans, og Levi-Civita så nødvendigheten av å gi denne mer geometrisk innhold. I et viktig arbeid fra 1917 viste han hvordan man kunne definere parallelle vektorer i slike krumme rom. Retningen til to vektorer som befinner seg i forskjellige punkt, kan sammenlignes ved at den ene «parallellforskyves» til samme punkt hvor den andre vektoren befinner seg. Denne parallellforskyvingen tilsvarte at vektoren forflyttes langs en geodetisk kurve mellom de to punktene slik at den hele tiden danner samme vinkel med tangenten til kurven. På denne måten fikk også kovariant derivasjon av vektorer en mer geometrisk og dermed enklere forklaring.