Khiva skal ha fungert som rasteplass for ørkenkaravaner i antikken og var allerede på 600-tallet omgitt av en mur. Khiva er nevnt som en by på 900-tallet. På grunn av sin beliggenhet i oaselandskapet ved Khorezmia sør for Amu Darya i utkanten av Karakum-ørkenen, tjente byen på handel og var et omlastningssted for karavaner som reiste til eller fra Persia gjennom økenen. Byen ble erobret og i stor grad ødelagt av Djenghis Khans tropper i 1220; byen ble enda en gang erobret av mongolene i 1388.