Wiggen var gift med Aina Karine Wiggen til 1952 og 1962 til 1967 med kunstneren Ulla Wiggen (f. 1942).