Одружений на Пеггі Енн Кавазос (уроджена Мердок). У них десятеро дітей. Кавазос є братом генерала армії США Річарда Едварда Кавазоса і нащадком героїні Техаської революції Франсіти Алавес.