Noen av ksour ligger oppe på en høyde, noe som gjør dem lettere å forsvare mot inntrengere. Byen har ofte en helt omsluttende mur, og er vanligvis bygget av soltørket teglsten, alene eller i kombinasjon med hugget sten.