Johnson var gift fire ganger, blant annet med skuespiller Irma Erixson, fra 1959 til 1963.