Пулидор родился в небогатой крестьянской семье. В 14 лет он был вынужден бросить школу, чтобы работать в поле. В это же время Раймон смотрел любительские местные гонки, в которых участвовали его братья. Вскоре он сам начал небезуспешно гоняться на этих соревнованиях. Однако основным его занятием оставалась крестьянская работа, а тренироваться приходилось ночью. В 1955 году Раймона призвали в армию, и он стал шофёром в Алжире. Там он растолстел и скинул вес, только когда снова сел на велосипед во Франции. По возвращении Пулидор стал показывать впечатляющие результаты в любительских гонках, и призовые деньги подтолкнули его начать профессиональную карьеру. По совету завершавшего карьеру Бернара Готье Антонен Манье пригласил Раймона в команду Mercier, за которую Пулидор выступал с 1960 года до конца карьеры.