Swenson ble en populær diplomat, og kanskje særlig i Norge siden han hadde aner der. Slekten var fra Hol i Hallingdal. Bestefaren het Sven Svensen Rudningen og nedstammet fra Sander Sandersen, skotten som på 1590-tallet slo seg ned i Hallingdal.