ก่อนที่เยเมนจะรวมเป็นประเทศเดียวกันอย่างในปัจจุบันนี้ เยเมนได้ถูกแบ่งออกเป็น 2 ประเทศ คือ เยเมนเหนือและเยเมนใต้ ประเทศเยเมนเหนือนั้น ในสมัยที่ยังใช้ชื่อว่าราชอาณาจักรมุตาวัคคิไลต์เยเมน ได้ใช้ธงพื้นแดงมีดาวขาว 5 ดวง โดยดาว 4 ดวงวางที่มุมธง ตรงกลางธงมีดาว 1 ดวงอยู่เหนือดาบโค้งแบบอาหรับ ตั้งแต่ พ.ศ. 2470 เมื่อถึง พ.ศ. 2505 เยเมนเหนือได้เปลี่ยนชื่อประเทศเป็นสาธารณรัฐอาหรับเยเมน จึงได้เปลี่ยนมาใช้ธงชาติที่มีลักษณะคล้ายกับในปัจจุบัน แต่ตรงกลางริ้วสีขาวนั้นมีรูปดาวสีเขียว ส่วนเยเมนใต้ ซึ่งใช้ชื่อประเทศว่า สาธารณรัฐประชาธิปไตยประชาชนเยเมน (พ.ศ. 2510 – 2533) ก็ใช้ธงชาติในลักษณะคล้ายกับธงในปัจจุบันเช่นกัน แต่เพิ่มรูปสามเหลี่ยมสีฟ้า พร้อมดาวห้าแฉกสีแดงที่ด้านคันธง โดยฐานของรูปสามเหลี่ยมนั้นอยู่ที่ด้านกว้างของด้านคันธง ธงของเยเมนใต้นี้ ได้รับอิทธิพลความคิดในการออกแบบธงจากการปฏิวัติคิวบา ในช่วงคริสต์ศตวรรษที่ 1950