Som matematiker var Khayyám kjent for å ha funnet en metode for å løse tredjegradsligninger ved en geometrisk metode. I 1070 skrev han sitt mest kjente verk om algebra, hvor han klassifiserte ligninger etter graden. Her presenterte han også en metode for å løse andregradsligninger som er svært lik den vi bruker i dag.