冒使他的一些工人死去。当他的工人建议在他的古堡附近建立一个兴都庙时，凯利很快就答应了。为了回报他的慷慨，他们为他建立了一个人像。相传城堡内有一座隧道通往寺庙。（当年淡米尔人工匠的后代仍居住在古堡附近。）而在1926年，当凯利带他的家人前往葡萄牙首都里斯本签署一份地段买卖合约的旅程中因肺炎病逝，享年56岁。凯利的妻子在他逝世后，决定搬回苏格兰；而城堡的建筑在这之后也没有完工。最后，这个古堡被卖给英国的Harrisons and Crosfield公司。
今天的凯利古堡.现今该古堡