Adresser söktes i Livingston, Bathgate, Blackburn och Salford, med ett mottagningscentrum som inrättats för att stödja potentiella offer.
Polisen i Skottland sa att 25 personer intervjuades som en del av operationen.
Männen ska infinna sig på Livingstons sheriffdomstol på måndag. Två av dem är 28 år och de andra 35 och 26 år.
Polis Skottland fick stöd i operationen - som ägde rum på fredag - av National Crime Agency, Greater Manchester Police och West Lothian Council.
Männen fängslades på adresser i Livingston, Bathgate och Salford i Greater Manchester och har åtalats i samband med människohandelsbrott, inblandning i grov och organiserad brottslighet och sexualbrott.
Ytterligare sex adresser söktes i Livingston, Bathgate och Blackburn.
Det Ch Insp Stephen Healy sade: "Totalt tjugofem personer har intervjuats som en del av denna operation och förfrågningar pågår för att fastställa omständigheterna kring deras resa till och från Skottland.
– Under tiden erbjuds de stöd och hjälp när det gäller hälsa och välfärd, bostäder och stöd till offren.
"Den här operationen är resultatet av en komplicerad och utdragen utredning av grov och organiserad brottslighet med utländska medborgare som är centrerade på West Lothian."
Ch Insp Barry Blair, lokalchef för polisen i västra Lothian i Skottland, sade: " Aktiviteten under operation Heathyard har koncentrerats till de lettiska samhällena i västra Lothian, och vi kommer att fortsätta att stödja alla dem som påverkas framöver.
"Vi kommer att ha ytterligare officerare på patrull i dessa områden under helgen för att ge trygghet och tala med alla som kan ha ytterligare information eller som behöver mer råd och hjälp.
"Jag skulle vilja uppmana alla med information eller oro om människohandel eller exploatering i deras samhälle att tala med polisen på 101. Vi kommer att göra allt vi kan med våra partners för att skydda människor."
West Lothian verkställande fullmäktige för tjänster för samhället, George Paul, tillade: "Tillsammans med andra offentliga partner, West Lothian Council kommer att ge social vård stöd till offren."
Fyra män har arresterats och åtalats efter en operation som syftar till att bekämpa människohandel och allvarlig organiserad brottslighet i västra Lothian.