Отцом Джема был султан Мехмед II, который в 1453 году захватил Константинополь. Матерью Джема была одна из жён или наложниц Мехмеда, Чичек-хатун. Слухи и легенды приписывали ей происхождение из знатного сербского рода, из французской королевской семьи, её называли венецианкой или венгеркой и племянницей Матьяша Корвина. Ф. Бабингер писал, что Чичек-хатун происходила из турецкой мусульманской семьи. Арабский историк Ибн Ийас, живший в Каире в то же время, что и Чичек, и, возможно, встречавшийся с ней, писал, что Чичек попала в гарем как пленница. Само имя Чичек («цветок») говорит о том, что она была рабыней, поскольку только рабыням давали имена, связанные с цветами (Чичек, Нилюфер).