Carleson está casado con Jonsson Butte desde 1953, y tienen dos hijos: Caspar (nacido en 1955) y Beatrice (nacida en 1958).