Addinsell se retiró de la vida pública en la década de 1960, siendo durante muchos años compañero del diseñador de moda Victor Stiebel, quien murió un año antes que Addinsell, en 1976.