ただし、共感覚は精神に負担が掛かりすぎている人もいるという報告もある。逆に、大半のメディアは「隠れた感覚」さらには「神に与えられた感覚」として表現しているし、共感覚者はそれを失いたくないと感じるものが多いという。
共感覚者の多くは子供のころに他人とは異なる隠れた感覚に気づく。そして彼らは自然とその感覚を日常生活に適用させていく。また、共感覚で人の名前を覚えたり、電話番号を覚えたりすることに使うこともあれば、暗算に利用することもできる。しかし同時に、絵画、映画などの視覚的な作品や音楽を創造する上での困難になることさえある。
共感覚という現象はいくつかの共通感覚をもとに定義付けられたものではあるが、個人的な経験に着目すると共感覚とはいっても実に多様性がある。この多様性については共感覚についての研究が始まって初期のころに知られていたが、最近の研究によってそのことが再評価されてきた。
多様性.
ほぼすべての知覚と感覚の組み合わせが起こりうるが、いくつかには共通性が見られる。
書記素から色を感じる共感覚
書記素から色を感じる共感覚、つまり書記素色覚を持つ者の間でたいてい共通していることは、書記素（文字）に影がある、または色を帯びているということである。
保持者の割合が高く、活発に研究されている共感覚.
文字に色が見える共感覚（かな・アルファベット・数字など）.
世界中の共感覚者の最多数を占める。
日本人の共感覚者の存在は、それ自体が、共感覚が先天的・遺伝的要因と環境的・文化的要因とのによるものであることを物語る。なぜならば、アルファベットのみを母語の表記に用いる欧米の共感覚者は、それら数十文字に色が見えるというだけで共感覚者と断定されている。
ところが、かな・アルファベットだけでなく、あらゆる漢字や世界の文字の、どれを提示しても即座に色を答え、しかもいかなる文字を再び提示しても、全く間違えない（前回と異なる色を答えない）日本人共感覚者が、ごく少数存在する（例：漢字の共感覚色を一年かけて記録した日本人男性の例）。
例のように、実際には、保持している共感覚の全てが先天性のみによって発現していることが確認されうる日本人共感覚者は、極めて稀であると考えられる。