Desde 1557, estaba casado en secreto con Philippine Welser, hija de un patricio de Augsburgo, con la que tuvo varios hijos.