Д’Орвилье родился в Мулен, провинция Алье, но провел большую часть своего детства в Кайенне, столице колонии Французская Гвиана, где его отец был губернатором. В 1723 году, в возрасте пятнадцати лет, он вступил в колониальный пехотный полк и быстро дослужился до звания лейтенанта. В 1728 году он перевелся на флот, и к 1756 году стал капитаном. Был командиром одного из кораблей, посланных к Минорке под командованием Ла Галиссоньера (). Позднее он участвовал в боях при Санто-Доминго и на Антильских островах и в 1764 году был вознагражден производством в вице-адмиралы.