Issu d'une famille aisée de la petite noblesse hongroise, il est le fils de János Than, fonctionnaire royal à Vienne, et de Ottilia Setény. Il est le frère du peintre Mór Than. Károly Than interrompt sa scolarité à 14 ans pour rejoindre, comme artilleur, les rangs de l'armée hongroise lors de la Révolution hongroise de 1848. À son retour, sa mère est morte et son père est ruiné. Than travaille alors dans plusieurs pharmacies pour gagner de l'argent et terminer ses études. Diplômé de l'école de Szeged en 1855, il étudie la médecine puis la chimie à l'Université de Vienne. Il est reçu docteur en chimie en 1858. Il étudie ensuite avec Robert Wilhelm Bunsen à l'Université de Heidelberg et avec Charles Adolphe Wurtz à l'Université de Paris. Il retourne à Vienne en 1859 où il devient lecteur.