Grauffel er født og oppvokst i Quimper på vestkysten av Frankrike, hvor han fremdeles bor når han ikke reiser rundt i verden og konkurrerer. Han begynte å skyte med luftpistol i en alder av 8 år, og begynte å skyte med pistol da han var 10 år før han ett år etterpå begynte å konkurrere. Allerede i en alder av 15 år vant han sitt første franske mesterskap.