Ve většině případů je barvoslepost vrozená, přičemž na vině je poškození nebo nedostatečné vyvinutí světločivných buněk v oku (čípků). Zde rozlišujeme anomální trichromazii, kdy je snížené vnímání pouze jedné ze základních barev, dichromazii, kdy pacient není vůbec schopný rozlišit jednu základní barvu, a monochromazii, což je úplná barvoslepost. Kromě toho může být daltonismus také získaný, a to například vlivem úrazu, onemocnění nebo kontaktu s chemikáliemi.