Французский король Карл IX (1550—1574) является первым достоверным владельцем Рубина Цезаря. После смерти Карла камень перешёл к его вдове, Елизавете Австрийской (1554—1592), а от неё — к её брату, королю Богемии Рудольфу II (1552—1612). В 1648 году во время Тридцатилетней войны камень был захвачен шведами в Праге и передан королеве Кристине. После её смерти Рубин Цезаря был отвезён в Стокгольм.