この仮説は、生まれた時には万人が共感覚を持っていたという魅力的な仮説である一方で、色字のようなシンプルな共感覚は説明できるが、色聴のような（視覚野と聴覚野の）離れた部位間の混線を説明するには十分でないという欠点がある。
抑制が少ない.
可塑性が少ない.
脳の可塑性というのは、一度できた神経結合を変更する能力のことである。可塑性が少なければ、文字型のマグネットなどによって、一度刷り込まれた文字と色の結びつきの情報が残って、固定してしまうという説明ができる。はっきりとした原因はよく分かっていない。
共感覚は知覚現象であり、第三者がそれを確認することはできないため、原因の解明は非常に困難であろうとされる。
薬物と共感覚の関係の研究.
アメリカやイギリス、オランダなどにおける共感覚の研究では、一部の薬物（LSD、シロシビンなど）が共感覚を誘発することが報告されてきた。
ただし、共感覚研究の中心地であり、薬物と共感覚の関係についての研究が最も進んでいるこれらの国々においても、多くの場合、違法薬物を摂取した者による偶然の共感覚体験や変性意識体験の報告（研究者による取材・伝聞）がもとになっているのであり、文字や音の色に関する集団実験と異なり、必ずしも薬物を摂取して（させて）みる集団実験が行われたわけではない。
また、国ごとに法律で規制されている薬物が異なっており、大麻合法国や、（日本では規制対象となっている）一部の麻薬・危険ドラッグ（指定薬物）の合法国において可能な実験は、日本においては不可能である。
従って、日本や他のアジア圏の法規制の厳しい国（中国、フィリピン、インドネシアなど）よりも、大麻・麻薬などに寛容なオランダなどにおいて、共感覚に関する多種多様な知見が得られ、共感覚保有者らのコミュニティが発達している現状がある。
さらに、脳神経系に直接作用する化学物質を含む合法的な食品についても、国や文化によってまったく嗜好や摂取量が異なっている（カフェインなど）。
医療用途の覚せい剤についても、各国によって異なる法規制が敷かれている（メチルフェニデートなど）。
このように、「共感覚者」と呼ばれる人々の体験そのものが各国ごとに異なっているのであり、共感覚の研究によって得られる知見や見解にも当然違いが出ることに注意する必要がある。