Kufa fou fundada el 638 per Sad ibn Abi-Waqqàs, el vencedor de la Batalla d'al-Qadisiyya, just després de la conquesta de Ctesifont (Madain) el 637, que tenia un clima molt dolent. El seu nom podria derivar del siríac "Akula" o ser una paraula àrab que vol dir 'llengua d'arena arrodonida' (la ciutat es va crear sobre una llengua d'arena a la riba dreta de l'Eufrates). Va ser essencialment un campament militar fins al 643, airejada, geomètrica i oberta. Els habitacles eren tendes, però després del 641 es va passar a les cabanes i, del 642 al 644, es van convertir en cases, la primera construïda sota el govern d'al-Mughira ibn Shuba (encara que hi ha altres informacions que diuen que es van construir cases des del 638). La ciutat no tenia muralles.