A finales de los años 1970, Kelly era el vocalista de una pub-band de Melbourne llamada "The High Rise Bombers"; cuando, tras su disolución, formó "Paul Kelly & The Dots".