Mit Zahlen und einfachen Rechnungen beschäftigten sich die Menschen bereits vor 20.000 bis 30.000 Jahren. Die Geschichte der Algebra beginnt vor allem bei den Babyloniern, aber auch den Ägyptern, als vor ca. 4000 Jahren der Handel und die Vermessung von Feldern zu linearen und quadratischen Gleichungen führten. In China und Indien dauerte es etwas länger, bis erste Versuche in der Algebra unternommen wurden.
Als einer der wichtigsten Begründer der Algebra gilt der vor ca. 2000 Jahren lebende Grieche Diophantos von Alexandria. Sein Werk, in dem er sich mit dem Lösen von Gleichungen und Gleichungssystemen beschäftigte, wird als Hauptwerk der Antike zur Algebra angesehen. Ebenso baute der Mathematiker Brahmagupta (598–665) die Algebra-Erkenntnisse in Indien im Vergleich zu den Babyloniern aus.
Bedeutende Weiterentwicklungen sind in späterer Zeit zweifelsohne dem arabischen Raum zu zusprechen. Der persische Gelehrte al-Ḫwārizmī, der im 9. Jahrhundert lebte, verwendete in dem Titel seines Hauptwerkes zum Lösen von Gleichungen das arabische Wort al-ǧabr, was das Ergänzen einer Gleichung durch die Addition zweier gleicher Terme auf beiden Seiten bezeichnet. Daraus wurde im Laufe der Zeit das Wort Algebra.