Hans far, James R. Frakes, var en velkjent bokkritiker for , bok-editor, og professor i engelsk litteratur ved Lehigh University fra 1958–2001, der han var the Edmund W. Fairchild Professor i amerikanske studier. Han døde i 2002. Frakes hadde en yngre bror, Daniel, som døde i 1997 av bukspyttkjertelkreft. Han er fortsatt i nær kontakt med sin niese og gud-datter Julia Frakes, Daniels datter. Hans mor, Doris, bor fortsatt i Bethlehem området.