同志社社長辞職後東京に戻り、京橋教会の牧師を務めてまもなく霊南坂教会に合併させ、同教会の牧師を務める。明治31年（1898年）からの2年間伝道誌『新世紀』を、明治33年（1900年）からの2年間『東京毎週新聞』を刊行。ハワイ伝道ののち、明治36年（1903年）に東京伝道学校を開校し、明治38年（1905年）には北アメリカ太平洋沿岸で伝道を行った。明治37年（1904年）に勃発した日露戦争には、自らが主催した大日本宗教家大会において協力の立場を表明。明治43年（1910年）の日韓併合後の年に組合教会は朝鮮人伝道を決議し、渡瀬常吉を派遣した。日本基督教連盟、日本基督教会同盟、海外基督教伝道教会、日本福音同盟会、日曜学校協会、南洋伝道団などの会長（団長）を務め、大正9年（1920年）、世界日曜学校大会を日本で主催し日本代表として出席した。そのほか、世界宣教大会などにも日本代表として出席している。昭和6年（1931年）には、霊南坂教会の名誉牧師に就任した。昭和13年（1938年）2月26日、81歳で死去。青山霊園、多磨霊園に遺骨が眠っている。
明治23年（1890年）1月の新島襄死去の後、同年3月に同志社校長となり（当時34歳）、明治25年（1892年）同志社社長を兼ねた。明治26年（1893年）にはアメリカシカゴで行われた世界宗教大会に日本基督教代表として出席し、「日本におけるキリスト教の大勢」と題して演説を行った。この演説は日本文化・思想の優位性を強調したもので、外国人宣教師は伝道先の国の文化を理解するのは困難であるからその国の知識人と交わる程度にとどめるべき、日本を訪れる宣教師は日本思想界を凌駕するほどの一流の学者であるべきだといった内容であったため、宣教師から不評を買い、ハートフォード新聞に批判記事が載った。世界宗教大会出席後はイェール大学で8か月間神学研究を行うなどした。帰国後、同志社に派遣されていたアメリカン・ボードの宣教師たちとも軋轢が生じ、ついに明治29年（1896年）、外国人宣教師団は同志社と絶縁するに至った。翌年、小崎は学内混乱の責任をとって社長を辞任。
明治12年（1879年）10月、上京し、京橋区新肴町に組合派の新肴町教会を設立、12月に按手礼を受けた。牧師としての収入は熊本洋学校時代と同じ2円で生計は苦しかったが、一致神学校での教師活動や翻訳活動でそれを補った。明治13年（1880年）3月には植村正久、井深梶之助、田村直臣、平岩愃保らとともに東京キリスト教青年会 (YMCA) を創設し初代会長となり、10月にはキリスト教をはじめとした思想一般に加え社会問題も取り扱った青年会機関誌『六合雑誌』を創刊。同誌にて、初期社会主義思想を紹介した「近世社会党ノ原因ヲ論ズ」を発表した。明治15年（1882年）、新肴町教会と粟津高明の日本教会とが合併して東京第一基督教会となる。明治16年（1883年）には週刊新聞『基督教新聞』を刊行し、植村正久らとともに出版社「警醒社」を設立、同社から明治19年（1886年）6月に『政教新論』という本を刊行した。同書は、従来の宗教としての儒教に代って、新しい時代の日本におけるキリスト教の重要性を説いたものであった。同年、赤坂霊南坂に教会堂を建立し、また番町教会を設立する。番町教会では宮崎滔天が受洗している（のちに棄教）。明治24年（1891年）に赤坂霊南坂教会を霊南坂教会に改称する。
1945年8月、太平洋戦争の終戦と満州国の解体に伴い、昭和製鋼所も事実上の解体を迎える。施設は進駐したソ連軍に接収される。当初ソ連軍は施設の維持・再操業を考えていた。これは中国共産党との連携を前提にした行動であった。しかし、共産党軍が東北地方で勢力を拡大する事を恐れた国民党軍・アメリカ軍は反発を示す。時期的には東西冷戦の陰が見え始めた頃であり（チャーチルの鉄のカーテン演説はこの少し後）、西側との関係悪化を危惧したソビエト連邦は、程なく方針を転換し、設備を解体してソ連国内に持ち帰り始めた。目ぼしい設備を接収したソ連軍は、1946年2月に撤収する。だが、終戦当時世界有数の製鉄所だった昭和製鋼所は、国民党軍・共産党軍にとっても「戦略上の重要拠点」であった。ソ連軍が引き上げた直後は八路軍が管理したが、1946年4月に国民党軍が接収。その後1948年2月末に八路軍が奪還するも内戦の継続で製鉄所の再建ははかどらず、共産党軍支配にようやく落ち着いたのは、1948年10月31日である。昭和製鋼所は、鞍山鋼鉄公司（現・鞍山鋼鉄集団）として業務を再開する。とはいえ、ソ連軍による主要な設備の撤去と数年来の内戦によって、施設の再開は簡単なことではなかった。操業再開は1949年7月9日である。鞍山鋼鉄公司は上海宝鋼集団にその地位を奪われるまで、長らく中国国内で最大手の製鉄業者であった。