しかし、こうした動きに対して、農村などの保守的な地域では反発も生まれていた。独自の教育方針を貫いたウィトゲンシュタインも、地元の村人や同僚の理解を得ることができず、しだいに孤立してゆくこととなる。その上、ウィトゲンシュタインは教師としてきわめて厳格であり、覚えの悪い生徒への体罰をしばしば行なっていたため、保護者たちは、よそ者であるウィトゲンシュタインに対する不信感を強めてゆくこととなった。ただし、このような一面もある。生徒の女の子が何度も綴りを誤ってノートに記入したため、ウィトゲンシュタインはいつものように体罰を加え、さらに字を誤った理由を問いただした。だが、その女の子は、黙ったまま何も答えなかった。ウィトゲンシュタインが「病気か」と尋ねると、女の子は「はい」と嘘をついた。しかし、彼は、その嘘に気付くことができず、その女の子に涙を流して許しを請いた。辞職して間もないころ、絶望の淵にあったウィトゲンシュタインは、修道僧になって世捨て人として生きようと考えて修道院を訪ねたが、修道院長から聖職者になる動機としては不純であると諭されて、諦めざるをえなかった。しかし、それでも社会復帰をする気になれなかったため、ウィーン郊外のヒュッテルドルフにある別の修道院へ行き庭師になった。建築家として.かつて、ウィトゲンシュタインから財政支援を受けていた建築家アドルフ・ロースの紹介によりヴィトゲンシュタイン家と親しくなっていたロースの弟子パウル・エンゲルマンはすでにウィトゲンシュタインの兄パウルの陶磁器コレクションの展示室などを手がけており、次いでマルガレーテの私宅の建築依頼を引き受けたさいに、大まかな設計図が完成したところでウィトゲンシュタインに細部の仕上げに関して協力をもちかけたのである。ようやく完成した家は、外装がほとんどない上にカーペットやカーテンすら一切使用しないという、極端に簡潔ながら均整のとれたものとなった。当時のウィーンの優美な建築の中にあっては極めて異色なこの家は、モダニズム建築としてある程度の賞賛を得た。この知的な仕事への献身がウィトゲンシュタインにとっては精神を回復させるのに役立った。ウィーン学団.ケンブリッジへの復帰.