Wollter bodde sammen Viveka Seldahl fra 1971 til hennes død 2001. Han var far til Ylva (død 1992) og Stina Wollter, Lina Wollter, Karl Seldahl og Magnus. Han var gift med journalisten Lisa Wede.