Baja ble nevnt første gang på begynnelsen av 1300-tallet. Under det tyrkiske herredømmet i det 16. og 17. århundret foregikk det innvandring til området av kroater og serbere. Bosniske fransiskanermunker slo seg også til her i denne perioden. Baja fikk byrettigheter i 1696, under det tyrkiske styret. Etter den tyrkiske tilbaketrekningen kom de første donauschwaberne til byen i 1712. Under habsburgerne innvandret også ungarere og jøder til Baja. Så sent som i 1946 utgjorde den tyske minoriteten 15 % av befolkningen.