Después de una relación con Eleonora degli Albizi, con la cual tuvo 2 hijos naturales, en 1570 Cosme contrajo matrimonio morganático con Camilla Martelli, con quien había tenido una hija natural.