В 2013 году Дуайер начал встречаться с футболисткой сборной США, олимпийской чемпионкой 2012 и чемпионкой мира 2015 Сидни Леру. Пара вступила в брак в начале 2015 года. В сентябре 2016 года у них родился сын — Кассиус Круз Дуайер. В июне 2019 года родилась дочь — Ру Джеймс Дуайер. Коби Брайант являлся их другом семьи.