Lineær algebra er nært knyttet til geometri. Mange tidlige matematikere, inkludert Pytagoras, forsøkte å knytte geometri sammen med tall. Dette lot seg først gjøre i mer fullstendig form etter introduksjonen av reelle tall, og med utviklingen av analytisk geometri på 1600-tallet. Posisjonen til et objekt i rommet kan beskrives med en tre-dimensjonal stedvektor. Rotasjon, skalering, refleksjon og projeksjon er alle operasjoner som kan beskrives med lineære transformasjoner.