Han var sønn av Olivier IV de Clisson og Jeanne de Belleville, som selv hadde et bemerkelsesverdig liv som en av verdens ganske få kvinnelige sjørøvere. Hans far ble i 1344 henrettet på kong Filip IVs befaling, etter at kongen først svikefullt hadde lokket ham til Paris. Olivier V flyktet med sin mor til England, der han ble oppdratt ved kong Edward III av Englands hoff (regjerte 1327–1377) sammen med Johann av Montfort, pretendent til hertugdømmet Bretagne.