El primer álbum de la Electric Light Orchestra en incorporar a Kelly como bajista y vocalista fue "Face the Music", contribuyendo también a los posteriores álbumes del grupo, entre los que figuran "A New World Record" (1976), "Out of the Blue" (1977), "Discovery" (1979), "Xanadu" (1980) y "Time" (1981).