Byen har sin opprinnelse fra handel med Persiabukta i det 9. og 10. århundre. Den viktigste handelsvaren var sannsynligvis elfenben. Mangrove trevirke var nok også viktige. Tidlige innbyggere i Manda konstruerte bygninger med brent firkantet murstein og stein og satt med en kalkmørtel. Denne byggeteknikkene finnes bare på øyer og i kystområder i Kenya.