Han er gift og har en datter med Karen Helene Ulltveit-Moe, professor ved Økonomisk institutt, Universitetet i Oslo. Fra før har han en datter fra ekteskap med Hanne Elisabeth Kierulf. Tidligere var han gift med Tracy Girard. Ifølge tidsskriftet hadde Ulltveit-Moe en formue på 3,5 milliarder i 2016.