גרף התחתן עם המעצבת יאנה ב-1 במאי 2004 בחדר הכס של ארמון פטרהוף. לאשתו בן מתבגר ממערכת יחסים קודמת, בדיוק כמו שלגרף יש בן, אולג, מנישואיו עם ילנה, שסירבה לעבור למוסקבה כשגרף נקרא לעבוד בממשלה הפדרלית בשנת 1998. מאז 2006 לזוג יש בת. אולג למד משפטים בסנקט פטרבורג עד 2004 ועבר לגרמניה להמשך השכלה. גרף דובר גרמנית ואוהב את גתה ואת האקספרסיוניזם הגרמני.