Karloff var sønn av Edward John Pratt jr. og hans tredje kone, Eliza Sara Millard. Hans bestemor var Eliza Julia Edwards, søster av Anna Leonowens, hvis historier om livet i Siam (Thailand) dannet grunnlaget for musikalen . Gjennom henne kunne Karloff påberope seg fjernt øst-indisk opphav, da det synes som Eliza Edwards og hennes søster, Anna, var barn i et blandet ekteskap.