Han var gift med Viebecke Vraalsen (født Strøm), tidligere rådgiver i Utenriksdepartementet. Tom Vraalsen hadde sønnen Arne Vraalsen, grunnlegger av plastindustrikonsernet Polimoon, fra et tidligere ekteskap.