Knut Halvorsen var gift med finskfødte Terttu Tellervo (f. 1925, d. 2012) som var en viktig støttespiller for hans galleri. Han er sønn av kunstneren Boye Halvorsen (f. 1903, d. 1988) og far til kunstneren Knut Eerik Halvorsen (f. 1957). Han og kona flyttet til Buvika i 1970 og bodde der frem til sin død.