コルベは当初、中国での宣教を考えていたが、日本へ布教活動に行くことになったのは、当時ローマに留学していた神学生里脇浅次郎（後の長崎教区大司教および枢機卿）との関りによるものであった。「支那へ布教に行きたいがどうしたら良いでしょうか」と尋ねられた里脇は「支那は政情が不安定だから、しばらく日本で待機したらどうですか」と日本行きを勧め、日本に知人がいないというので、長崎教区の早坂久之助司教あてに紹介状を書いた。コルベを含む5人の宣教師は、1930年3月7日にフランスのマルセイユから上海行きのアンジェ号に乗船し、4月11日に上海に到着した。上海では実業家で慈善家のカトリック信者の陸伯鴻と面識を持ち、援助の申し出を受けたが、布教活動は成功しなかった。この後も陸伯鴻は1931年に来日し、再び援助を申し出ている。1930年4月24日にゼノ修道士、ヒラリオ修道士ら3人で長崎に到着すると、早坂司教に『無原罪の聖母の騎士』の出版許可を願った。司教はコルベが哲学博士号を持っていることを知ると、自教区の神学校で哲学を教えることを条件に出版を許可した。翌月の5月には、長崎大浦の仮修道院で日本語版の『無原罪の聖母の騎士』の出版を開始した。翌年には聖母の騎士修道院を設立した。1932年5月にはインドで修道院を設立するために神戸から船に乗り、エルナクーラムを訪れて、教区の司教から歓迎されて出版の許可も得たが、コルベがポーランドに戻ったこともあり、その後の計画は進まなかった。1933年4月にポーランドでの管区会議に出席するために日本を離れたが、その間に重病であった駐ポーランド公使河合博之のカトリックへの改宗に尽力している。そして再び日本に戻った後、1936年にニエポカラノフ修道院の院長に選ばれたために故国ポーランドに帰国した。
グロドノが手狭となり、活動の拠点を移動する必要に迫られたコルベは、新たな土地を探していた。そのとき、ドウルッキ・ルベッキ公爵はワルシャワの近くに所有する土地を寄贈するということになったが、当初の条件はルベッキ公爵の父のために永久的に追悼ミサを捧げることであった。コルベは土地が聖母のものであるとして、真っ先にマリア像を立てた。ところが、会議で条件である永久的に追悼ミサを捧げることを断ることになったため、ルベッキ公爵は土地の寄贈を撤回し、マリア像を取り除くようにと言った。するとコルベはマリア像は聖母が初めて約束を守らなかったことを示すために残さなければならないと言い、この言葉に打たれたルベッキ公爵は無条件で土地を寄贈した。1927年にはニエポカラノフ修道院（無原罪の聖母の騎士修道院）を創立し、『無原罪の聖母の騎士』等の出版による宣教に力を入れた。
その後、出版による布教活動を志したコルベは1922年に初めて『無原罪の聖母の騎士』(Rycerz Niepokalanej)を執筆し出版した。部数は5,000部で、執筆者は神父一人であった。同年にグロドノの修道院に移り、当地での出版活動を開始した。この頃には、コルベと共に後に日本に宣教に来ることになるゼノ・ゼブロフスキー修道士と出会っている。
そもそもは、夫婦岩を始めとする巨岩を磐座として祭祀が行われていたようである。推古天皇の時代、西暦600年頃に箕作山に、聖徳太子が摂津国に建立する四天王寺で使用する瓦を焼くために瓦屋寺を創建し、ほぼ同時期に箕作山の一峯である赤神山に正哉吾勝勝速日天忍穂耳命を祀る社を建立、赤神山の名前から阿賀神社と称した。また、当地の地名は小脇というが、それは天照大御神がいつも小脇に抱えて「此の脇の子」といってかわいがっていた孫の正哉吾勝勝速日天忍穂耳命が降り立ったところであるからだという。延暦18年（799年）、阿賀神社の神徳に感じ入った最澄が薬師如来を本尊とする成願寺を阿賀神社の神宮寺として麓に建立した。その際、修験道の大成者である役行者の兄弟子であり、赤神山に住んでいた天狗の太郎坊が（弟の次郎坊は京都の愛宕山に住む）山上に現れて、この地に一宇を建立するように最澄に告げ、山の守護神としてその建立を手助けしたという。阿賀神社と天台宗の成願寺はやがて神仏習合し、竹中坊、上坊、松本坊、行満坊、石垣坊、大泉坊などの社殿・僧坊が50あまり建立されると、薬師如来の縁日である八日に市を開いていた八日市の町も発展していき、隆盛を極めるようになる。成願寺は阿賀神社境内の最高所に奥之院を作り、そこに太郎坊大権現像を祀るようになると、阿賀神社は成願寺の管理下に置かれて名称も両者を合わせて太郎坊宮と呼ばれるようになり、修験道の霊場になっていった。近江源氏の佐々木成頼が麓の小脇に小脇館を構え、やがて赤神山の横にある小脇山に小脇山城を築城すると、八日市の賑わいもあって当地は近江国の中心地となっていった。佐々木氏の嫡流である六角氏の当主近江守護六角頼綱が本拠地を金田館（金剛寺城）に移し、さらに応仁の乱の頃に六角高頼が繖山の観音寺城に居城を移しても、当地の重要性は変わらなかった。しかし、永禄11年（1568年）に足利義昭を担いで上洛を敢行する織田信長とそれを迎え撃つ六角義賢との合戦に巻き込まれて炎上する。その後、荒廃した太郎坊宮には、後に信長を千種街道で狙撃する杉谷善住坊・三木大学とその一味が住んでいたという。