Żoną Iwanowa była Lilana Panajotowa, bułgarska lekkoatletka sprinterka, olimpijka z 1976 i 1980. Mieli dwie córki. Jedna z nich Nora Iwanowa była mistrzynią Europy juniorów w 1995, później reprezentującą Turcję i Austrię.