1881年7月ミッション宣教拠点の東京ステーションに戻り、築地居留地20番のスコットランド一致長老教会宣教師館に転居した。ミラーは東京一致神学校の教授に就任する。ミラー夫妻は1882年に築地居留地29番に壮大な洋館を建てて伝道活動を行うことになった1883年4月16日の第二回宣教師大会で、メアリーは分科会で「女性と教育」と題する講演を行った。1884年にミラーが東京一致神学校の教授を辞任して、直接伝道に多くの時間を割くようになった。1884年初めには上州高崎を訪問し、11月には高知を訪問して一ヶ月半滞在した、1885年ミラー夫妻が高知を訪問した時に、高知教会が誕生した。ミラーが初代仮牧師に選ばれ、二ヶ月高知に留まった1886年1月には三度目に高知を訪問し、長老片岡健吉の紹介で民家に4月半ばまで来在した。米国南長老教会のグリナンとR・E・マカルピンに後事を託して高知伝道に区切りをつけた。その後仙台に行き、押川方義の伝道を応援した。1886年4月に東京一致神学校、東京一致英和学校、英和予備校の三校が合同宣教師委員会で決定され、明治学院として開校したその時、ミラーが再び神学部講師になった。1887年にミラーは肺炎かかり回復後に、主治医の勧めで北海道に約２ヶ月間出かけた。スミス女学校(北星学園)の開校式出席した。その場には、新島襄・八重夫妻も出席していた。
1873年(明治6年)7月10日、長老派の海外伝道局のS・R・ブラウンの司式により、オランダ改革派教会婦人宣教師のメアリー・キダーと横浜の友人宅で結婚式を挙げる。二人は山手234番Aの西洋住宅を購入する。所属団体の異なる宣教使徒の結婚により所属問題起こり、最終的に妻の女子教育事業に全面的に協力するために、10月1日に米国長老ミッションを辞任して自給宣教師になる。1875年(明治8年)6月に校舎と寄宿舎が完成し、学校はフェリス・セミナリーと命名され、14名の生徒をもって開校式を迎えた。夫妻は自宅から、学校に転居した。これをきっかけにミラーは7月に夫人の所属団体のアメリカ・オランダ改革派教会に転籍した。そして、フェリス・セミナリー、ブラウン塾で聖書を講義し、ユニオン・チャーチでも説教をするようになる。1879年5月メアリー夫人の来日10周年の休暇に合わせて、ミラーはアメリカに夫婦で帰国した。ミラー夫妻はフィラデルフィア郊外のミラーの妹宅を拠点に全米各地を訪ね1年半をアメリカで過ごし、1881年4月に横浜港に帰着した。二年ぶりに戻ると、フェリス・セミナリーが普通の学校に変貌したことにメアリーはショックを受けた。一時は、先志学校に校舎を譲ることを真剣に考えた。そこで、ユージーン・ブース夫妻を招聘し、ブースに後事を託して、フェリス・セミナリーの経営から離れた。
ミラーはスコットランド系のアメリカ人で、ペンシルベニア州フィラデルフィアで生まれた。1856年、父親は鉄道工事の関係で、ミズーリ州に転勤になり、家族はフィラデルフィアの都会から、カンザスシティ郊外の辺境の地に転居した。ミラーは家はこの地ハイグローブ長老教会に出席したが、ミラーは17歳になった時には、この教会で堅信礼（信仰告白）を行った。この頃ミラーは母親の影響のもとで、将来教職者になることを決意して、上級学校への準備を始めた、ミラーの弟ウィリアムと一緒にセントルイスにあるワシントン大学に入学して、ラテン語、ギリシャ語の初歩を学び始めた。1863年の秋、南北戦争の戦火から逃れるために、ワシントン大学を中退して、フィラデルフィアに戻り、少年から青年にいたるまで、8年間を過ごした。ミラーはプリンストン大学に入学するために、一年間予備校に通い、1864年9月に編入試験を受けて、第二学年に編入した。その同級生に、O・M・グリーンがいた。1867年に、ミラーとグリーンはプリンストン大学を卒業して、プリンストン神学校に入学した。その後、ウィリアム・インブリーも入学してきた。こうして、ミラー、グリーン、インブリーの三人は教職者になるために、神学の基礎、専門科目を履修する。当時の、プリンストン大学にはチャールズ・ホッジがいた。1870年6月6日に、ニューヨーク長老会の按手礼を受けて、母校のプリンストン大学から修士(MA)の学位を受けた。1872年始めに、米国長老教会海外伝道局から日本派遣宣教師の募集があり、これに応じて合格して、1872年6月海外伝道局から正式に日本派遣宣教師に任命された。サンフランシスコからジャパン号に乗って、米国派遣長老教会派遣の7番目の宣教師として横浜に着いた。当時日本には、ヘボン、タムソン、カロザース、ルーミスがいた。ルーミスだけが横浜に迎えに来た。ミラーは横浜のヘボン邸で、行われていた私塾(ヘボン塾)で英語を教えていた、オランダ改革派の宣教師メアリー・キダーに出会った。
京都市下京区生まれ。父親は愛媛県出身で、部落差別意識の強い人だったという。1958年、京都大学文学部入学の夏に部落問題研究所を訪ね、木村京太郎の紹介で朝田善之助の自宅を訪問。京都市内の同和地区を視察し、部落問題の研究を始める。1962年、京都大学文学部史学科（東洋史学専攻）卒業。1968年、京都大学大学院文学研究科（東洋史学専攻）博士課程修了。1970年、岐阜大学教育学部（史学科）講師。のち生涯教育講座教授（歴史学・人権教育担当）。部落解放同盟の運動に部落外出身者として参加したものの、1970年、「狭山差別裁判糾弾闘争に連帯する会」の運動をめぐり、被差別部落出身者Sから「おまえを糾弾する」と電話で通告され脅威を受ける。狭山事件における警察の捜査について藤田が師岡佑行の文章を転載した際、警察に対する批判のコメントを附さなかったのが差別である、というのがSの言い分であった。同年4月、Sは藤田を暴行しようとしたが、藤田の友人がそれを阻止しようとして顔面を殴打される事態に発展する。このほか、狭山同盟休校に異論を唱えた折、部落出身ではないために「部落民でない君に何がわかるか。わかるはずがない」と疎外を受けて差別者扱いされたこともあり、最終的に運動を離れた。1987年5月、『同和はこわい考』を阿吽社から刊行。同書は朝田理論や部落排外主義に異論を唱える内容だったため、藤田は部落解放同盟中央本部から1987年6月の第44回全国大会で名指しの非難を浴び、「差別思想の持ち主」と指弾を受けた。藤田は「ある言動が差別にあたるかどうかは、その痛みを知っている被差別者にしかわからない」「日常部落に生起する、部落にとって、部落民にとって不利益な問題は一切差別である」という「差別判断の資格と基準」が、「関係の固定化と対話の途切れ」を生んでおり、「被差別者」自身が引き受けるべき責任まで他人や世間に転嫁する態度を生んでいると批判している。