Jemen er hovedsakelig bebodd av sunnimuslimer, men en betydelig minoritet hører til den sjiamuslimske zaidiretningen. Små grupper med jøder, kristne samt hinduer er også bosatt i Jemen, men disse utgjør mindre enn 1 % av befolkningen. Den jødiske bosetningen hadde en distinkt kultur og flere dyktige håndverkere. På begynnelsen av 1900-tallet var det over 50 000 jøder i Jemen. Dette tallet var nede i 2000 i 1994. På 16 år har det blitt redusert med mellom 80 og 90 %, og det er per 2011 er mindre enn 300 jøder i Jemen, de aller fleste i nord. Flesteparten av jødene har emigrert til Israel. Det er i og for seg like rettigheter for alle religioner, men bare Islam undervises på offentlige skoler, og ikke-muslimer har ikke lov til å ha offentlige verv.