Er war der Sohn von Olivier IV. de Clisson und Jeanne de Belleville, die später eine Piratin wurde. Sein Vater wurde 1344 auf Befehl König Philipps VI. hingerichtet, der ihn durch Verrat nach Paris gelockt hatte. Olivier V. floh mit seiner Mutter nach England, wo er am Hof des Königs Eduard III. (regierte 1327–1377) gemeinsam mit Johann von Montfort, dem Anwärter auf das Herzogtum Bretagne, erzogen wurde. Er nahm 1364 auf Seiten Montforts an der Schlacht von Auray teil, bei der er ein Auge verlor. Die Schlacht entschied den Bretonischen Erbfolgekrieg und machte Montfort als Johann V. zum Herzog der Bretagne.