Sachverhalt: Sachverhalt: A. Der 1947 geborene B._ bezog für die Zeit ab 1. Dezember 1987 zunächst eine ganze und ab 1. März 1988 noch eine halbe Rente der Invalidenversicherung, je mit Zusatzrente für die Ehefrau und zwei Kinderrenten (Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. Dezember 1990). Mit Verfügung vom 7. Februar 2003, bestätigt durch Einspracheentscheid vom 15. August 2003, forderte die Sozialversicherungsanstalt (Verfügung der IV-Stelle resp. Einspracheentscheid der Ausgleichskasse) des Kantons Zürich die in den letzten fünf Jahren, mithin für die Zeit ab 1. März 1998 bis 31. Januar 2003, zu Unrecht ausgerichtete Zusatzrente für die Ehefrau im Gesamtbetrag von Fr. 17'086.- zurück, da der Rentenbezüger ihr erst im Februar 2003 mitgeteilt habe, dass seine Ehe schon 1989 geschieden wurde. A. Der 1947 geborene B._ bezog für die Zeit ab 1. Dezember 1987 zunächst eine ganze und ab 1. März 1988 noch eine halbe Rente der Invalidenversicherung, je mit Zusatzrente für die Ehefrau und zwei Kinderrenten (Verfügungen der Ausgleichskasse des Kantons Zürich vom 4. Dezember 1990). Mit Verfügung vom 7. Februar 2003, bestätigt durch Einspracheentscheid vom 15. August 2003, forderte die Sozialversicherungsanstalt (Verfügung der IV-Stelle resp. Einspracheentscheid der Ausgleichskasse) des Kantons Zürich die in den letzten fünf Jahren, mithin für die Zeit ab 1. März 1998 bis 31. Januar 2003, zu Unrecht ausgerichtete Zusatzrente für die Ehefrau im Gesamtbetrag von Fr. 17'086.- zurück, da der Rentenbezüger ihr erst im Februar 2003 mitgeteilt habe, dass seine Ehe schon 1989 geschieden wurde. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Januar 2004 ab, soweit es darauf eintrat. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Januar 2004 ab, soweit es darauf eintrat. C. Mit Verwaltungsgerichtsbeschwerde erneuert B._ seinen im kantonalen Verfahren gestellten Antrag um Aufhebung der Rückerstattungsforderung. Die Sozialversicherungsanstalt, Ausgleichskasse, enthält sich unter Hinweis auf die Erwägungen im kantonalen Entscheid einer materiellen Stellungnahme. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.