אוליביה רפוביץ נולד בצרפת ב-12 ביולי 1962. אביו ניצול השואה שרד בסתר באזור גרנובל, תודות להיותו חולה בעת האקצייה הגדולה, ב-16 ביולי 1942, בה נלקחו הוריו, אחיו ואחותו לאושוויץ.