Als einschneidendes Ereignis in der Geschichte des Dreikönigenschreins gilt ein Diebstahl am 28. Januar 1574, bei dem neben anderen Kostbarkeiten ein großer Kameo, der so genannte Ptolemäer-Kameo entwendet wurde, der als zentraler Schmuckstein in der Mitte der abnehmbaren Trapezplatte an der Frontseite des Schreins platziert gewesen war. Das Ereignis wurde unter anderem auch von Hermann Weinsberg in seiner Bürgerchronik beschrieben. Der Täter wurde nie gefasst und der Kameo galt über Jahrhunderte als verschollen. Erst 1952 erkannten Joseph Hoster und Eduard Neuffer, dass ein heute im Wiener Kunsthistorischen Museum ausgestellter Kameo aus der Zeit um 278 v. Chr. mit dem in Köln gestohlenen Stein identisch ist. Für dreizehn Jahre nach dem Vorfall ist er in der Sammlung des Herzogs Gonzaga von Mantua nachweisbar. Als Mantua 1630 während des Erbfolgekriegs von kaiserlichen Truppen besiegt und geplündert wurde, kam er in den Besitz von Franz Albrecht von Sachsen. 1668/69 beschrieb wiederum ein englischer Reisender den Kameo in der kaiserlichen Sammlung zu Wien.