En saudiarabisk koalition med nio länder har kritiserats hårt för den civila dödssiffran från en bombkampanj i Jemen.
Parlamentet uppmanade EU:s utrikespolitiska chef Federica Mogherini att "inleda ett initiativ som syftar till att införa ett EU-vapenembargo".
Förslaget antogs med 449 röster för och 36 röster emot.
Det fanns 78 nedlagda röster.
Även om omröstningen inte är rättsligt bindande hoppas lagstiftaren att den kommer att pressa EU:s regeringar att gå med på ett embargo efter en framställning från 750.000 EU-medborgare.
Den skotske parlamentsledamoten Alyn Smith, som ledde förslaget, sade att EU-tillverkade vapen exporterades till Saudiarabien "i strid med internationell rätt".
Michael Smyth sade: " Efter att ha växt upp i Saudiarabien är jag känslig för saudiernas verkligheter och uppskattar att saudierna har bekymmer i sina närområden.
"Men vår plikt är mot de civila i Jemen, och med tanke på den utbredda och mycket välgrundade oron över saudiska styrkors genomförande av kriget, är vår uppmaning om ett EU-omfattande vapenembargo proportionerlig och nödvändig."
Anna MacDonald, chef för kampanjgruppen Control Arms, sade att gruppen välkomnade "detta första steg mot att förhindra att europeiska vapen används för att främja mänskligt lidande i Jemen och på andra håll".
Nästan 6 000 människor har dödats sedan den saudiska koalitionen trädde in i konflikten i mars 2015, nästan hälften av dem civila, enligt FN.
USA är den största internationella leverantören av vapen till Saudiarabien. Storbritannien och Frankrike är de största europeiska leverantörerna, medan Tyskland också har licensierat vapenexport till kungadömet.
Rättning 26 februari 2016: Detta betänkande har ändrats för att ändra felaktiga siffror som anges för Europaparlamentets omröstning.
Europaparlamentet har antagit en resolution där man kräver ett vapenembargo mot Saudiarabien för påstådda brott mot internationell rätt i Jemen.