Han ble foreldreløs i ung alder, og ble oppfostret av sine eldre søsken og gikk på Enfield Grammar School før han flyttet over til Uppingham School i Rutland, og til slutt University of London. Karloffs første karrieremål var å bli en del av utenrikstjenesten. Broren, John Henry Pratt, ble diplomat. Istedenfor ble det skuespillerkarriere for ham.