Kaldea omfattet egentlig fra begynnelsen sørlige Babylonia, dagens sumpete, myrlendte område lokalisert i sørlige Irak og Kuwait, men ble etter hvert synonymt med hele Babylonia. Det 11. dynasti av Babylonias konger (500-tallet f.Kr.) er av tradisjon blitt kjent av historikerne som «det kaldenske dynasti». Deres kongedømme i sørlige Babylonia lå hovedsakelig på høyresiden av Eufrat. Selv om navnet etter hvert ble brukt om hele Babylonia, var det egentlige Kaldea den store sletten eller deltaet i sør som var blitt dannet av avsetninger fra Eufrat og Tigris, og strakte seg rundt 640 km langs disse elvene og rundt 160 km i gjennomsnittlig bredde. Landet ble kalt på deres eget språk for , det vil si «Kaldeas land» men det ble også benyttet, tilsynelatende synonymt, uttrykket .