Thoralf Klouman var far til pianisten og underholdningskomponisten Carsten Klouman og skuespilleren Wenche Klouman. Han var gift med Borghild Johannessen, søster til Svanhild Johannessen som var gift med Hauk Aabel.