Carl Fredrik Wiborg giftet seg tre ganger. Hans første ekteskap var med Anna Severine Odfjell, gift 17. februar 1940 i Fana, Hordaland (skilt). Hans andre ekteskap var med Dorothy Kjellstrand Quarles, født i USA (skilt, ett barn Christian Edward Wiborg). Hans tredje ekteskap var med Lis-Britt (Lisa) Gustafsson, gift 1964 i San Francisco.