祖父常吉は晩年、一人前となった父楢光と常一に西岡家に代々伝わる口伝を教えた。これは一度しか口移しで教えることができない秘中の教えで、一つずつその意味となる要点を教え、十日後に質問して一語一句違わず意味を理解するまで次に進まなかった。学者との対立.現場でたたき上げた豊富な経験と勘は、寺院再建の際に大いに活用された。多くの学識関係者が持論を述べても、堂々と反論し、そのたびに衝突を繰り返した。常一は「学者は様式論です。...あんたら理屈言うてなはれ。仕事はわしや。...学者は学者同士喧嘩させとけ。こっちはこっちの思うようにする。」「結局は大工の造った後の者を系統的に並べて学問としてるだけのことで、大工の弟子以下ということです。」と述べて、学者の意見を机上の空論扱いして歯牙にもかけなかった。法輪寺三重塔再建では、竹島卓一(名古屋工業大学教授)と大論争になった。竹島教授は法隆寺大修理の工事事務局長で、西岡とも面識があり、中国古代建築の専門家としての知識を生かして三重塔の設計を行ったが、常一は補強の鉄骨使用に猛反対した。初めは法輪寺住職井上慶覚の仲介で両者の関係は穏便になっていたが、井上の死後、対立は激化した。竹島は、常一の力量を認めながらも将来飛鳥時代方式の建築技術が断絶することを恐れ、後世にわかりやすい江戸期の技術を採用する考えであったが、常一は江戸期の鉄を補強したやり方は却って木材を痛め寿命を縮めるとして否定、伝統技術も人間の進歩とともに理解する時代が来るので断絶することはないと主張した。やがて両者は感情的に口論する事態となり、果てには新聞紙面で論陣を張るまでに至った。もっとも西岡は「あの人は学者としてちゃんとした意見を主張してはるわけですわ。」と、竹島には敬意を示していて、本来仲介に立つべき文化庁関係者を批判している。結局、最低限度の鉄骨使用ということで折り合いがついたが、青山茂が「非常に気持ちのいい論争」と評しているように双方とも正論を吐き、情熱を傾けた事件であった。高田好胤との交流.