Wiborg giftet seg i 1847 med Henriette Dorothea Florentz, datter av fogd Marcus Henrik Florentz, stortingsrepresentant i 1814. Ekteparet fikk syv barn.