Fraser påsto i 2018 at han hadde blitt utsatt for et seksuelt overgrep av Philip Berk, president for Hollywood Foreign Press Association, i løpet av en lunsj de spiste sammen i sommeren 2003. Dette overgrepet, hans påfølgende skilsmisse, og morens dødsfall, førte Fraser til en depresjon som - kombinert med hans helse-problemer - og et tilbakeslag i karrieren hans etter å ha snakket om hendelsen han haddemed Philip Berk, førte til at han fikk problemer som skuespiller.