孟加拉语的儿子彼得，一病不起，这是第一个死亡的孩子。他的妻子Dorothy因为打击，心理受影响，于1807年去世。后来英国的同工对克理自给自足的宣教策略不能认同，英国的同工并不愿意支持克理的靛青园计画。不能理解的英国同工们以为克理是为了赚钱而搁置了传福音的正业。而克理知道除非他可以自足，否则随时他都可能会被「召」回国去。在这极度的困苦中，他把见到的异象—翻译印度文、孟加拉文圣经、将福音传到印度各地。他一边研读语言，翻译圣经，也不断的讲道。他在到了印度的第五年后，在1797年在印度建立了第一间教会。17