Károly Than nasceu em Óbecse, Reino da Hungria, Império Austríaco (hoje Bečej, Sérvia). Ele interrompeu sua educação e se juntou ao exército húngaro na guerra de independência de 1848 com a idade de 14 anos. Em seu retorno, ele encontrou sua mãe morta e seu pai falido. Depois disso, começou a trabalhar em várias farmácias para ganhar dinheiro ao completar seus estudos. Depois de frequentar uma escola em Szeged, Than começou a estudar medicina e mais tarde química na Universidade de Viena. Ele recebeu seu PhD por um trabalho com Josef Redtenbacher em 1858. Depois de trabalhar por algum tempo como assistente de Redtenbacher, ele foi estudar com Robert Bunsen na Universidade de Heidelberg e com Charles Adolphe Wurtz na Universidade de Paris. Em seu retorno em 1859, ele trabalhou como professor na Universidade de Viena.