Van Cleef begynte arbeidslivet som revisor. Han tjenestegjorde i United States Navy under andre verdenskrig, og etter krigen begynte han å spille amatørteater. Hans første rolle var i (1952) hvor hans spesielle utseende, med skarp nese og smale øyne, gav ham et minneverdig ansikt som førte til at han fikk medvirke i et stort antall westernfilmer, som regel i skurkeroller. Resten av tiåret og fram til begynnelsen av 1960-tallet spilte han for det meste biroller, mange av dem i vel ansette filmer som John Sturges' (1957), Budd Boettichers (1959) og John Fords (1962).