イギリス経験論では、視覚は他の感覚入力との連合によって説明された。経験論哲学における有名な問題として、「球体と立方体を触覚的に判別できる先天盲者が開眼手術を受けたとき、盲人は視覚的に球体と立方体を判別できるか」というモリニュクス問題がある。経験論によれば、視覚は他の感覚と連合されていないため、開眼時点では視覚的な判断はできないと結論された。ヘルムホルツは視覚を感覚入力をもとにした無意識的推論の過程であると見なした。例えば、小さなものや遠くにあるものは、網膜上では同じように小さく見える。しかし、我々は小さな顔を見たとしても、顔が小さいと知覚することはなく、顔が遠くにあるように知覚する(「大きさの恒常性」)。このことは、「顔というものは実際にはこの程度の大きさのはずだから、網膜上で顔が小さいということは遠くにあるのだろう」という推論を我々が無意識的に行っているのだと解釈された。神経科学.視覚情報処理.光学系を通じて網膜に投影される網膜像は、三次元世界の物理法則である光学によって決定される。視覚は、網膜像をもとに外界の三次元構造を復元する情報処理とみなせる。そのため、光学によって三次元世界の構造から網膜像が生じるのに対して、視覚は網膜像から外界の三次元構造の推定という逆問題を解いていることになる。このことから、視覚情報処理は逆光学とよばれる。ところが、光学は三次元の外界から二次元の網膜像への対応を決定するため、網膜平面に対して奥行き方向の情報は、網膜像では完全に失われてしまう。したがって、網膜像から外界の構造復元という逆問題は、そもそも理論的に解くことのできない問題である。そのため、視覚情報処理は不良設定問題である。おおまかには不良設定問題は、正しい解を一意に求めることができない問題のことである。不良設定問題は、何らかの制約条件を設けなければ解くことができない。視覚系は外界の構造に関するさまざまな仮定を設けることで、逆問題を解いている。ところが、そもそも視覚情報処理は不良設定であるため、こうした仮定が常に正しいとは限らない。そのため、視覚系が用いている外界についての仮定が、物理的世界での規則と異なっていた場合には、物理的世界の構造を反映しない知覚が得られることになる(錯視)。