オリックス監督時代の土井につきまとう評価は「イチローを見出せなかった」というイメージである。もっとも、1993年は高卒2年目の鈴木一朗（当時）を開幕戦にスタメンで起用し、その後しばらく一軍で起用していた。その後、「一軍のベンチに置くくらいなら二軍で4打席を与えたかった」ため、代走で出した試合の牽制球アウトをきっかけに二軍へ落とした（開幕から二軍落ちまでの打撃成績は12打数1安打）。土井は1996年2月のインタビューで、「間違ったことをしたとは思わない。1993年は春から使ったが打率は1割7～8分そこそこ。順番を付けるとしたら5番目の外野手。僕は3年契約最後の年だったし、そういう選手を使う度量も余裕もなかった」と語っている。また、パンチ佐藤は、イチローが野茂からプロ入り初本塁打を放った翌日に二軍落ちさせられたというエピソードを語っているが、これは誤りであり、その後7試合連続で起用（うち6試合で先発出場）されたが、20打数4安打、打率.200・出塁率.238・長打率.250と結果を残せず二軍落ちというのが真相である。また、イチローに「振り子打法」をやめるように指示したといわれている。当時の土井はマスコミに対しても「鈴木のあの打法はプロ野球では通用しない」と公言。監督退任後も「あの振り子はイチローにしか出来ない打法であって、本来プロでは通用しない打法である」という主張は曲げておらず、「たとえイチローが4割打とうとも私は彼の打法を認めない」と発言した。一方でイチローが2年連続首位打者に輝いた後の1996年2月のインタビューでは、「入団した年に初めて見た時からイチローはいずれ首位打者をとると確信していたが、ひ弱に感じた。タイトル争いをするとのみ込まれちゃう。一回ガツンと下へ落とせばたくましくなるだろうと思った」「ところが、200本安打の大記録をイチローはあっさりやってのけた。この2年間、『オレのやり方は違っていたのか』と考えさせられたのも事実。今の若い子に精神力なんて関係ないのかな、プレッシャーのない人間もいるんだなと……。結局、僕の方が教えられたな」と語っている。1992年春季キャンプでは、球団社長や宮内義彦オーナーに異例の二軍キャンプ視察を促し、川上哲治がオリックスのキャンプを視察に訪れた際には、土井は新人のイチローを「福本豊の後継者になれる」「15年間はチームのリードオフマンを張れる逸材かもしれない」と評価しつつも、「鈴木の性格には難がある（生意気である）為、その性格が直るまでは（一軍で）使わない」と川上に話していたという。なお、こうしたイチロー、取り分け「振り子打法」に対する土井の考え方を、野村克也は自著の中で「固定観念の賜物」と批判している。イチロー入団時のオリックスの外野は高橋智、本西厚博、藤井康雄の主力に、タイゲイニー（1993年入団）、柴原実、山森雅文、佐藤和弘（現：パンチ佐藤）、DHは石嶺和彦という攻・走・守全ての面でメンバーで固められており、当時1・2年目のイチローが入る余地がなかったとも言える。そのような中でも土井はイチローを高卒の新人選手としてはかなり優遇して使っており、1992年には7月以降9番打者や2番打者としてたびたびスタメン出場させたり、1993年の開幕戦にもスタメン出場させたりしている。また、イチローが全国区となった1994年は、石嶺がFAで退団、藤井、タイゲイニー、高橋智の出遅れが重なっていたという事情もあった。ガンに倒れた後に自身が評論家を務める東京スポーツに、通算3000安打達成の際に寄せたコメントでは、イチローが土井の体調を心配した事について触れていた他、イチローを二軍に落としたのは、あの段階ではまだ充分に体力がついていなかった為とコメントし、後年の活躍でバッシングを受けた際、イチローの父・鈴木宣之から「あの経験があったから現在がある」と慰められた事を紹介した。イチローも「いつも気にかけてくれていた」と証言しており、そうしたイメージを否定している。鈴木宣之は文藝春秋2018年2月号では「オリックスに入団して、一、二年目の監督だった土井正三さんにも感謝しなければなりません。あの二年間は、認めてもらえない悔しさがあり、プロで戦う体力を作っていく時間でもありました。エネルギーを溜めることができたからこそ、三年目で爆発できたのです。一つ一つの出会いが、大きな意味を持つことになりました。」と述べている。イチローは2003年の時点で土井について度々言及しており、ビートたけしとの対談では「感謝しているんですよ。世間ではふたりの仲は良くないって言われてますけど、そうではないんですよ。土井さんは次の年のために、しっかりと体を作れっていう指示を出してくれていたみたいなんですよ」「その年で土井さんは監督を辞められたわけですけど、もし仰木監督の就任がなかったら、土井さんは僕を使う予定だったらしいんです」と述べ、ファン212人を前にした糸井重里との対談では、「土井監督と僕とは、みなさんが思っているような犬猿の仲じゃないんです」「お会いすればもちろんお話をしますし、本当に感謝しているんです。そこは、誤解しないでくださいね」と語っている。振り子打法を考案した河村健一郎は、「イチローを二軍に落とすよう主張したのは、ダウンスイングに打法改造するよう指示した一軍打撃コーチであり、土井監督は打撃コーチの意見を尊重せざるを得なかったにすぎない」と述べている（ここで触れられている「（一軍）打撃コーチ」とは土井がオリックスで監督を務めた3年間、一貫してヘッド兼打撃コーチとして在籍した山内一弘のことである。山内は土井より10歳年上）。イチロー自身も同様の証言をしており、実際にイチローの打法に対してしつこく干渉してきたのは、一軍打撃コーチだったという。土井は2001年にピオリアを訪れ、シアトルの記者から「なぜ（イチローを）使わなかったんだ」と質問された際、「当時の打撃コーチが彼（イチロー）のフォームを好きじゃなかったから」と答えている。近鉄のエース・監督として活躍した鈴木啓示は土井にとって高校の先輩にあたり、野茂英雄を筆頭に選手との確執が存在した。このため類似ケースとしてしばしば引き合いに出され、長年に亘って土井とイチローとの確執関係が囁かれ続けた一因だった。オリックスの投手であった星野伸之は、土井について「人柄はソフトで優しいが、野球のことになると、妥協を許さないところがあった」と評している。星野が1安打完封をした日、星野は監督室に呼ばれ、土井から「あのヒットだけどな、配球が違ってたな。ちゃんと投げとけば、ノーヒットノーランだったのに、もったいない」と30分程説教されたという。野田浩司は、オリックス移籍後2試合目の登板となった近鉄戦で、2回まで4失点で2回で降板と思っていた時、土井から呼び出され、「セ・リーグなら、こんなピッチングをしたら代打だが、パは投手に打席はない。俺は少々のことでは代えない。気持ちを入れ直して次の回からいってみろ。」と言われたという。3回からはペース配分など考えず投げ、4回は得意のフォークボールも落ち、5回には石嶺の3ラン本塁打でチームが逆転し、当時自己最多の15奪三振で移籍後初勝利となった。野田は土井の「俺は簡単に代えないよ」という言葉を意気に感じ、投げ続けたことが同年の最多勝につながったと語っている。土井に批判的な選手もおり、ブーマー・ウェルズは土井について「土井監督が来てからチームは落ちていった。土井監督とうまくやれた選手がいない」と厳しい評価をしている。ブーマーは土井との確執で1991年限りでオリックスを退団した。また、パンチ佐藤も自著「プロ野球・独断毒舌改造論」で土井を「D監督」とイニシャルで書いたり、引退時のインタビューで「プロへの扉を開いてくれた上田監督、芸能界への扉を開いてくれた仰木監督、…途中何かありましたけども」と土井だけは忌諱し絶対に褒めない形のコメントで述べたりしている。佐藤義則は「選手としては日本シリーズで巨人を破って3連覇を果たしたという自負があるのでV9の野球がすべてと言われてもちょっと待てよと思ってしまう。自分がコーチになっていろんな球団を巡るようになってあの時の経験が生きた。オリックス、阪神、日本ハム、楽天と渡り歩いてきた中で僕は前のチームはこうだったという話はなるべくしないようにしている。自分がコーチになった時に意識したのは前にいたチームのよさを強調されると前からいる人間は面白くないし寂しさを感じる。いい所を見てスタートしなければならない。その意味では土井監督との3年間は無駄ではないと思っている。」と述べている。