Crisp a făcut o serie de afirmații despre tinerețea lui, care s-au dovedit în cele din urmă, la mai multe decenii după moartea lui, ca fiind false. El a susținut că s-a născut în 1880 în localitatea Aberfeldy din comitatul Perthshire, Scoția, și chiar a mers atât de departe încât a folosit un accent scoțian cât timp a lucrat la Hollywood. În fapt, el a avut nicio legătură cu Scoția, dar în 1996 a fost amplasată o placă memorială în presupusul oraș natal Aberfeldy de cptre actorul de comedie scoțian Jimmy Logan. El a susținut în diferite ocazii că tatăl său era fermier, medic rural sau medic regal al regelui Eduard al VII-lea. De asemenea, el a susținut că a fost educat la Eton și Oxford și că el a servit ca soldat în Regimentul 10 Husari în timpul Războiului Burilor.