Han giftet seg med Baibre Neldon i 1964, og paret har fått syv barn. Kelly engasjerte seg sterkt til fordel for flere irske veldedighetsorganisasjoner.