Sachverhalt:
Sachverhalt:
A. Der 1947 geborene B._ bezog für die Zeit ab 1. Dezember 1987 zunächst eine ganze und ab 1. März 1988 noch eine halbe Rente der Invalidenversicherung, je mit Zusatzrente für die Ehefrau und zwei Kinderrenten (Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. Dezember 1990). Mit Verfügung vom 7. Februar 2003, bestätigt durch Einspracheentscheid vom 15. August 2003, forderte die Sozialversicherungsanstalt (Verfügung der IV-Stelle resp. Einspracheentscheid der Ausgleichskasse) des Kantons Zürich die in den letzten fünf Jahren, mithin für die Zeit ab 1. März 1998 bis 31. Januar 2003, zu Unrecht ausgerichtete Zusatzrente für die Ehefrau im Gesamtbetrag von Fr. 17'086.- zurück, da der Rentenbezüger ihr erst im Februar 2003 mitgeteilt habe, dass seine Ehe schon 1989 geschieden wurde.
A. Der 1947 geborene B._ bezog für die Zeit ab 1. Dezember 1987 zunächst eine ganze und ab 1. März 1988 noch eine halbe Rente der Invalidenversicherung, je mit Zusatzrente für die Ehefrau und zwei Kinderrenten (Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. Dezember 1990). Mit Verfügung vom 7. Februar 2003, bestätigt durch Einspracheentscheid vom 15. August 2003, forderte die Sozialversicherungsanstalt (Verfügung der IV-Stelle resp. Einspracheentscheid der Ausgleichskasse) des Kantons Zürich die in den letzten fünf Jahren, mithin für die Zeit ab 1. März 1998 bis 31. Januar 2003, zu Unrecht ausgerichtete Zusatzrente für die Ehefrau im Gesamtbetrag von Fr. 17'086.- zurück, da der Rentenbezüger ihr erst im Februar 2003 mitgeteilt habe, dass seine Ehe schon 1989 geschieden wurde.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Januar 2004 ab, soweit es darauf eintrat.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Januar 2004 ab, soweit es darauf eintrat.
C. Mit Verwaltungsgerichtsbeschwerde erneuert B._ seinen im kantonalen Verfahren gestellten Antrag um Aufhebung der Rückerstattungsforderung.
Die Sozialversicherungsanstalt, Ausgleichskasse, enthält sich unter Hinweis auf die Erwägungen im kantonalen Entscheid einer materiellen Stellungnahme. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Die Bestimmungen der auf den 1. Januar 2004 in Kraft getretenen 4. IVG-Revision sind vorliegend nicht anwendbar, da nach dem massgebenden Zeitpunkt des Erlasses des streitigen Einspracheentscheids (15. August 2003) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (vgl. <ref-ruling> Erw. 1.2 mit Hinweisen).
1.2 Ob, wovon das kantonale Gericht ausgegangen ist, bezüglich der Rechtmässigkeit der streitigen Rückforderung Art. 25 Abs. 1 Satz 1 des auf den 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000 (ATSG) Anwendung findet, nachdem sowohl der Einspracheentscheid vom 15. August 2003 wie zuvor schon die Verfügung vom 7. Februar 2003 erst nach dem 1. Januar 2003 ergangen sind, kann dahingestellt bleiben. Dieser Frage kommt insoweit keine entscheidende Bedeutung zu, als die Voraussetzungen für die Rückerstattungspflicht, wie sie sich aus dem ATSG ergeben, aus den früher massgebend gewesenen gesetzlichen Bestimmungen (Art. 49 IVG in Verbindung mit Art. 47 AHVG) und der hiezu ergangenen Rechtsprechung hervorgegangen sind (zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil D. vom 12. März 2004 [K 147/03], Erw. 5.1 und 5.2; vgl. auch Ueli Kieser, ATSG-Kommentar: Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zürich 2003, N 9 zu Art. 82).
1.3 Zutreffend dargelegt hat die Vorinstanz die gesetzlichen Grundlagen für die Beurteilung der Frage, ob überhaupt ein unrechtmässiger Leistungsbezug vorliegt (Art. 34 Abs. 1 und 3 IVG in der bis 31. Dezember 2003 gültig gewesenen Fassung). Dies gilt namentlich für den Anspruch auf eine Zusatzrente für den geschiedenen Ehegatten der leistungsberechtigten Person und für dessen persönliche Auszahlungsberechtigung (Art. 34 Abs. 4 IVG in der bis 31. Dezember 2002 gültig gewesenen und Art. 34 Abs. 4 lit. c IVG in der ab 1. Januar bis 31. Dezember 2003 gültig gewesenen Fassung).
1.4 Verwiesen werden kann auch auf die Ausführungen im kantonalen Entscheid zu den für die Zulässigkeit einer Rückerstattungsforderung erforderlichen Wiedererwägungsvoraussetzungen (Art. 53 Abs. 2 ATSG und - für die Zeit vor dessen In-Kraft-Treten - <ref-ruling> Erw. 3a, 138 Erw. 2c, 110 V 179 Erw. 2a und 103 V 128). Dasselbe gilt hinsichtlich der Vorschriften über das Erlöschen des Rückforderungsanspruchs zufolge Zeitablaufs (Art. 25 Abs. 2 Satz 1 ATSG; vgl. auch die weitgehend gleichlautende, bis 31. Dezember 2002 gültig gewesene Regelung gemäss Art. 49 IVG in Verbindung mit Art. 47 Abs. 2 AHVG).
1.5 Zu erwähnen bleibt weiter, dass die den Leistungsbezügern obliegende Meldepflicht bis 31. Dezember 2002 in Art. 77 IVV statuiert war und sich seither in Art. 31 Abs. 1 ATSG eine inhaltlich analoge Verpflichtung findet (Ueli Kieser, a.a.O., N 1 zu Art. 31). Letztere erst seit dem 1. Januar 2003 in Kraft stehende Bestimmung ist vorliegend indessen von untergeordneter Bedeutung, da es konkret um die Frage geht, ob der Beschwerdeführer die Verwaltung schon lange Zeit vor seiner im Februar 2003 erfolgten Meldung hätte über die 1989 ausgesprochene Scheidung in Kenntnis setzen müssen.
1.5 Zu erwähnen bleibt weiter, dass die den Leistungsbezügern obliegende Meldepflicht bis 31. Dezember 2002 in Art. 77 IVV statuiert war und sich seither in Art. 31 Abs. 1 ATSG eine inhaltlich analoge Verpflichtung findet (Ueli Kieser, a.a.O., N 1 zu Art. 31). Letztere erst seit dem 1. Januar 2003 in Kraft stehende Bestimmung ist vorliegend indessen von untergeordneter Bedeutung, da es konkret um die Frage geht, ob der Beschwerdeführer die Verwaltung schon lange Zeit vor seiner im Februar 2003 erfolgten Meldung hätte über die 1989 ausgesprochene Scheidung in Kenntnis setzen müssen.
2. In der Verwaltungsgerichtsbeschwerde wird die vorinstanzlich bestätigte Unrechtmässigkeit des Bezugs einer Zusatzrente für die Ehefrau des Rentenberechtigten für die Zeit ab 1. März 1998 bis 31. Januar 2003 ausdrücklich anerkannt. Streitig ist daher einzig noch, ob die Rückforderung verjährt ist, was einerseits davon abhängt, ob der Beschwerdeführer mit seiner Anzeige im Februar 2003 seiner Pflicht zur Meldung der bereits im Februar 1989 erfolgten Scheidung rechtzeitig nachgekommen ist (nachstehende Erw. 3), andererseits - und unabhängig davon - aber auch die Frage aufwirft, ob die Verwaltung von dieser Scheidung schon früher Kenntnis hatte oder zumindest hätte haben müssen (nachstehende Erw. 4).
2. In der Verwaltungsgerichtsbeschwerde wird die vorinstanzlich bestätigte Unrechtmässigkeit des Bezugs einer Zusatzrente für die Ehefrau des Rentenberechtigten für die Zeit ab 1. März 1998 bis 31. Januar 2003 ausdrücklich anerkannt. Streitig ist daher einzig noch, ob die Rückforderung verjährt ist, was einerseits davon abhängt, ob der Beschwerdeführer mit seiner Anzeige im Februar 2003 seiner Pflicht zur Meldung der bereits im Februar 1989 erfolgten Scheidung rechtzeitig nachgekommen ist (nachstehende Erw. 3), andererseits - und unabhängig davon - aber auch die Frage aufwirft, ob die Verwaltung von dieser Scheidung schon früher Kenntnis hatte oder zumindest hätte haben müssen (nachstehende Erw. 4).
3. 3.1 Auf Grund der Aktenlage ist davon auszugehen, dass eine Anzeige der 1989 ausgesprochenen Scheidung gegenüber der Invalidenversicherung erst Anfang Februar 2003 erfolgte, was denn auch in der Verwaltungsgerichtsbeschwerde nicht in Abrede gestellt wird. Weiter darf angenommen werden, dass der Beschwerdeführer auf die ihm obliegende, auch die persönlichen Verhältnisse und damit seinen Zivilstand umfassende Meldepflicht von Anfang an - unbestrittenermassen spätestens seit der erstmaligen Rentenzusprache am 4. Dezember 1990 - wiederholt aufmerksam gemacht worden ist. Aktenmässig erstellt jedenfalls ist zumindest der Hinweis auf die - ausdrücklich auch Zivilstandsänderungen beinhaltende - Meldepflicht in der im Rahmen einer Rentenüberprüfung erfolgten Anspruchsbestätigung vom 6. Oktober 1997.
3.1.1 Ein Irrtum in dem Sinne, dass der Beschwerdeführer Grund zur Annahme gehabt hätte, die Verwaltung wisse bereits von der Scheidung seiner Ehe, sodass es gar keine Veränderung zu melden gegeben habe, kann ebenfalls ausgeschlossen werden. Insoweit wird auf den kantonalen Entscheid verwiesen, wo die Vorinstanz ausführlich dargelegt hat, bei welcher Gelegenheit der Beschwerdeführer bei der gebotenen Aufmerksamkeit jeweils hätte erkennen müssen, dass der Zusprache einer Zusatzrente für die Ehefrau seitens der Verwaltung stets die Annahme zugrunde lag, er sei - wie im Zeitpunkt seiner Anmeldung zum Leistungsbezug vom 15. Februar 1988 - nach wie vor verheiratet. Zutreffen mag allenfalls, dass er den Beschluss der IV-Stelle vom 4. Dezember 1991 tatsächlich nicht erhalten hat - obschon zumindest sein damaliger Vertreter, dessen Handeln er sich als sein eigenes anrechnen lassen muss, in der Verteilerliste aufgeführt ist. Insgesamt ändert dies aber nichts daran, dass er bei zumutbarer Sorgfalt in all den Jahren hätte erkennen müssen, dass er bei der Verwaltung nach wie vor als verheiratet galt.
3.1.2 Der Auffassung des kantonalen Gerichts kann aber auch darin beigepflichtet werden, dass das Verhalten des Beschwerdeführers als schuldhaft einzustufen ist, genügt doch für eine solche Qualifikation nach ständiger Rechtsprechung bereits leichte Fahrlässigkeit (<ref-ruling> Erw. 2a mit Hinweis; SVR 1995 IV Nr. 58 S. 166 Erw. 2a). Eine solche liegt vor, nachdem mit der Vorinstanz davon auszugehen ist, dass es der Beschwerdeführer während Jahren unterlassen hat, den Organen der Invalidenversicherung den für den Anspruch auf die laufend bezogene Zusatzrente wesentlichen Umstand seiner Scheidung zu melden.
3.2 Unter diesen Umständen ist nicht zu beanstanden, dass Vorinstanz und Verwaltung auf eine Meldepflichtverletzung geschlossen haben, welche Anlass zur angefochtenen Rückerstattungsforderung gibt.
Die Vorbringen in der Verwaltungsgerichtsbeschwerde ändern daran nichts.
3.2.1 Insbesondere lässt sich auch aus dem erneut aufgelegten Bestätigungsschreiben eines seinerzeit beigezogenen Rechtsanwaltes vom 13. Februar 1992, wonach die Rentenberechnungen der Invaliden- wie auch der Unfallversicherung "in Ordnung gehen", nichts zu Gunsten des Beschwerdeführers ableiten.
3.2.2 Die Einhaltung der - bei jeder für den Leistungsanspruch wesentlichen Änderung, namentlich einer solchen des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit, der Hilflosigkeit, aber auch der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse bestehenden - Meldepflicht hängt nach dem Wortlaut von Art. 77 IVV allein von den leistungsberechtigten Versicherten, deren gesetzlichen Vertretern oder allfälligen Drittempfängern (Behörden und Dritten) ab. Praxisgemäss werden diese im Rahmen der Leistungszusprechung denn auch ausdrücklich auf Bestand und Inhalt dieser Pflicht hingewiesen (vgl. Rz 1159 der Wegleitung des BSV über die Renten [RWL], gültig ab 1. Januar 1996). Es lässt sich daher, entgegen der Auffassung des Beschwerdeführers, durch nichts rechtfertigen, der Verwaltung die Beweislast bezüglich eines Vorganges zuzuweisen, der ihrem Verantwortungsbereich im Regelfall völlig entzogen ist, zumal die Rückerstattung zu viel ausgerichteter Leistungen einzig auf die Wiederherstellung der gesetzlichen Ordnung abzielt (<ref-ruling> Erw. 2c und 227 Erw. 6c mit Hinweis) und insofern nicht als ein Recht der Verwaltung zu sehen ist (nicht veröffentlichtes Urteil N. vom 22. Januar 1997 [I 82/96]).
3.2.2 Die Einhaltung der - bei jeder für den Leistungsanspruch wesentlichen Änderung, namentlich einer solchen des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit, der Hilflosigkeit, aber auch der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse bestehenden - Meldepflicht hängt nach dem Wortlaut von Art. 77 IVV allein von den leistungsberechtigten Versicherten, deren gesetzlichen Vertretern oder allfälligen Drittempfängern (Behörden und Dritten) ab. Praxisgemäss werden diese im Rahmen der Leistungszusprechung denn auch ausdrücklich auf Bestand und Inhalt dieser Pflicht hingewiesen (vgl. Rz 1159 der Wegleitung des BSV über die Renten [RWL], gültig ab 1. Januar 1996). Es lässt sich daher, entgegen der Auffassung des Beschwerdeführers, durch nichts rechtfertigen, der Verwaltung die Beweislast bezüglich eines Vorganges zuzuweisen, der ihrem Verantwortungsbereich im Regelfall völlig entzogen ist, zumal die Rückerstattung zu viel ausgerichteter Leistungen einzig auf die Wiederherstellung der gesetzlichen Ordnung abzielt (<ref-ruling> Erw. 2c und 227 Erw. 6c mit Hinweis) und insofern nicht als ein Recht der Verwaltung zu sehen ist (nicht veröffentlichtes Urteil N. vom 22. Januar 1997 [I 82/96]).
4. Der Beschwerdeführer kann sich der Rückforderung auch nicht mit der Argumentation entziehen, diese sei verwirkt, weil die Verwaltung schon längst - insbesondere aus Quellen der Schweizerischen Unfallversicherungsanstalt - hätte in Erfahrung bringen können, dass er nicht mehr verheiratet war. Nach den überzeugenden Ausführungen des kantonalen Gerichts, welchen sich das Eidgenössische Versicherungsgericht ohne Weiterungen vollumfänglich anschliesst, ist kein Versäumnis der Verwaltung ersichtlich, das für die Auslösung der Verwirkungsfrist bedeutsam sein könnte.
4. Der Beschwerdeführer kann sich der Rückforderung auch nicht mit der Argumentation entziehen, diese sei verwirkt, weil die Verwaltung schon längst - insbesondere aus Quellen der Schweizerischen Unfallversicherungsanstalt - hätte in Erfahrung bringen können, dass er nicht mehr verheiratet war. Nach den überzeugenden Ausführungen des kantonalen Gerichts, welchen sich das Eidgenössische Versicherungsgericht ohne Weiterungen vollumfänglich anschliesst, ist kein Versäumnis der Verwaltung ersichtlich, das für die Auslösung der Verwirkungsfrist bedeutsam sein könnte.
5. Da Rückerstattungsprozesse wegen zu Unrecht zur Ausrichtung gelangter Renten rechtsprechungsgemäss die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 OG zum Gegenstand haben (<ref-ruling> Erw. 1 mit Hinweisen), ist das Verfahren vor dem Eidgenössischen Versicherungsgericht kostenfrei (Art. 134 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der IV-Stelle des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 17. Juni 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: