Vanligvis består et karavanserai av en ringmur omkring en åpen plass, og med en port som er stor nok til å ta imot kameler med tung oppakning. Langs innsida av muren er det bygd staller, nisjer og rom for dyr og reisende.