Caviezel er sønn av Margaret, en husmor, og James Patrick Caviezel sr., en kiropraktor. Han har en yngre bror, Timothy, og de tre søstrene Ann, Amy og Erin. Søsknene vokste opp i en tett sammensveiset katolsk familie i Skagit County i Washington. Caviezels etternavn er av retoromansk opphav, hans far er av slovakisk og sveitsisk avstamning, mens hans mors forfedre var irske.