Swarovski nació en Georgenthal bei Gablonz, Bohemia, Imperio austríaco (en la actualidad Jiřetín pod Bukovou, República Checa), hijo de Franz Anton Swarovski y Helene Swarovski.