En cuanto a su relación matrimonial con la emperatriz Catalina, si bien en en los primeros momentos se mantuvo estable, acabó precipitándose cuando en estado ebrio la llamó tonta públicamente en una fiesta en palacio.