その後、広島英語学校の教師になり、大和田建樹を教えた。その後、大阪英語学校の教師になったが、1882年2月にアメリカに帰国した。1887年(明治20年)に再び日本に戻り神奈川県尋常高等学校で教師をする。1895年仙台市の仙台第二高等学校の英語の教師になる。1896年(明治29年)2月11日紀元節に不敬事件を起こして排斥運動を起こされ解雇される。その後、アメリカに戻りワシントン州ポートスタンレーの農場の自宅で過ごした。カロザースは晩年にユニテリアン、ユニバーサリスト的に信仰に傾倒した。1921年(大正10年)にワシントン州サンフアン郡 (ワシントン州)ロペス島の自宅で没した。
1876年1月4日の築地居留地の東京第一長老教会で「耶蘇」の訳語の問題でインブリーと対立して、ミッションの辞任を宣言した。カロザースはのちに辞任を否定したが、在日ミッションはカロザース辞任を4月4日に決定した。在日ミッションの処分に反対した、千村五郎、戸田欽堂、出口せい、田村直臣らメンバーが原胤昭邸に集まって、カロザースを仮牧師とする日本独立長老教会を設立した。
カロザースの妻ジュリアが1874年春に長老教会フィラデルフィア婦人伝道局に加入して、ジュリアの女子学校は長老派女学校（Presbyterian Mission Female Seminary）と呼ばれた。メアリー・パークとケイト・ヤングマンが長老教会ニューヨーク夫人伝道局の援助のもとで、女子寄宿学校(The Girls Boarding School)を設立した。メアリー・パークはディビッド・タムソンと結婚した。これにより、二つの女学校はカロザース側とタムソン側に分かれて、さらに東京公会と東京第一長老教会の双方に分かれて対立関係になった。カロザースはジュリアの長老女学校の正当性を主張し、ヤングマンの女学校を閉鎖するように責め立てた。そのころ、タムソン、ミラーの在日ミッション離脱問題も起きたので、ミッションはその事態収拾のために、ウィリアム・インブリーを派遣した。インブリーは在日ミッションの監督をするように派遣されてきたので、カロザースは不自由を感じるようになった。
1872年9月20日から、横浜居留地39番のJ・C・ヘボン邸で在日プロテスタント各教派による、第一回在日宣教師会議が開かれて、聖書の翻訳、教会の組織、医療事業などが協議された。その会議で、S・R・ブラウンが超教派主義を主張したのに大して、ヘボンとカロザースは教派主義を主張した。1874年に英語塾を拡大して、新湊町に寄宿舎付きの英学校を開設した。この学校は築地大学校もしくは東京大学とも呼ばれた。カロザースとスコットランド一致長老教会の宣教師4人が教師人になった。瓜生外吉、都築馨六、尾崎行雄、真野文二、戸川安宅、戸田欽堂、増田増三、渡辺信、松本源太郎、赤壁次郎、石原保太郎、田村直臣など後に活躍した優秀な人材が学んだ。1874年10月18日は田村直臣など築地大学校の生徒を含む11名で、東京第一長老教会(日本基督教団芝教会と巣鴨教会の前身)を設立して、自らが仮牧師に就任した。また、横浜でオランダ改革派教会がブラウン塾を開催して神学研究をしていた。その動きに合わせてアメリカ長老教会でも神学教育を始めるために、1875年1月5日に築地居留地6番の会堂で、築地六番神学校が開校された。教師はカロザースとO・M・グリーンが務めた。このように、カロザースの築地での活動を中心にできた信仰者の群れは築地バンドと呼ばれる。
在日アメリカ海軍・横須賀海軍施設内で、アメリカ人の父と日本人の母の間に生まれる。3歳でミニバスケットボールを始め、基地内のアメリカンスクールではアメリカンフットボールや陸上にも挑戦した。横須賀キニック高校、ゴードン大学でもバスケットボールを続け、帰国後にbjリーグのトライアウトを受験。ドラフト2巡目で秋田ノーザンハピネッツに指名され、入団した。それまでのポジションはガードだったが、上背は無いものの屈強な体格を見込まれパワーフォワードに転向した。2013年4月7日の大阪エヴェッサ戦では、アンソニー・ケント、マーシャル・ブラウン、佐野吉宗といったフォワード・センター陣がケガで欠場する中、彼らの代役として13分間出場し、シーズン最多となる6得点、3リバウンドを決めた。しかし、レギュラーシーズンを通じて出場試合9、出場時間31分と出場機会は限られたものであった。2013-14シーズン、大阪エヴェッサに移籍。2013年10月のシーズン開幕から12月末までに、22試合に出場し通算出場時間229分を記録、11月17日の京都ハンナリーズ戦では、敗れたものの一時逆転に繋がる連続得点を決めるなど、通算82得点を挙げた。しかし2014年には、チーム規律に違反したことを理由に2節続けてベンチ外となり、シーズン中の1月20日付けで契約を解除になった。2014年2月19日、東京サンレーヴスと契約した。5月には、チームメイトの佐藤マクファーレン優樹と共に、ストリートボールのSOMECITYに出場した。2013-14シーズン終了後の2014年5月に東京を退団した。2014年6月、群馬クレインサンダーズと契約、2014-15シーズンは42試合に出場したが、シーズン終了後に群馬を退団した。2015年6月、富山グラウジーズと契約、2015-16シーズンは36試合に出場したが、シーズン終了後に富山を退団した。2016年7月、B2東地区 岩手ビッグブルズと契約、2016-17シーズンは50試合に出場したが、シーズン終了後の2017年6月に岩手を退団した。2017年7月、B1西地区 滋賀レイクスターズと契約、2017-18シーズンは20試合に出場したが、シーズン終了後の2018年5月に滋賀を退団した2018年8月、B3 埼玉ブロンコスと契約、2018-19シーズンは55試合に出場したが、シーズン終了後の2019年5月に埼玉を退団した2019年8月、B1中地区　横浜ビー・コルセアーズに通訳兼練習生として入団した。