Bien que l'unification soit pacifique, une guerre civile éclate en mai 1994 à la suite de la détérioration des relations entre marxistes et unionistes. Les dirigeants sud-yéménites, limogés du gouvernement, proclament la création de la République démocratique du Yémen, dirigée par Ali Salem al-Beidh, État reconnu par aucun pays de la communauté internationale, correspondant au territoire de l'ancien Yémen du Sud. Les Sud-Yéménites étaient soutenus par l'Arabie saoudite qui était inquiète d'avoir à ses frontières un Yémen unifié alors que les États-Unis demandèrent à plusieurs reprises un cessez-le-feu, sans succès. La guerre prend fin le lorsque l'armée nord-yéménite reprend le contrôle de l'ensemble du pays. Le bilan est particulièrement lourd : de 7 000 à 10 000 morts selon les sources. Les combattants (plusieurs milliers) et les dirigeants sudistes sont contraints à l'exil. Si cette guerre marque la réunification finale des deux États, le pays doit cependant faire face à de nombreuses reconstructions, à la suite des dégâts provoqués par la guerre.