Han hadde flere andre jobber etter det, blant annet som støvsuger-selger. Luke Kelly returnerte til Dublin i 1962 der han snart møtte Barney McKenna, Ciaran Bourke og Ronnie Drew som han dannet The Dubliners med og som han ofte kom til å samarbeide med senere i livet. I 1964 forlot Luke Kelly denne gruppen for en periode på nesten to år og han ble da erstattet av Bobby Lynch. Luke møtte deretter Deirdre O'Connell i 1965, men de ble separert tidlig på 1970-tallet. Bobby Lynch forlot The Dubliners og Luke ble gjenforent med resten av bandet få år senere.