Sachverhalt:
A.
Der 1938 geborene B.A._ bezog seit 1. April 2002 eine ordentliche Altersrente der AHV. Am 12. Juli 2002 verheiratete er sich mit A.A._. Per 1. April 2008 hoben B.A._ und A.A._ den gemeinsamen Haushalt auf. Am 14. Juli 2008 brachte A.A._ ihren Sohn C.A._ zur Welt. B.A._ wurde als Vater von C.A._ in die Register eingetragen. Am 15. Oktober 2009 trat B.A._ den Anspruch auf die AHV-Kinderrente für C.A._ rückwirkend ab Geburt an die Sozialbehörde ab. Mit Verfügung vom 12. November 2009 sprach die Ausgleichskasse des Kantons Zürich B.A._ zusätzlich zur einfachen Altersrente rückwirkend ab 1. August 2008 eine Kinderrente für C.A._ zu, die zugunsten von A.A._ an die Gemeinde D._ ausbezahlt wurde. Mit Verfügung vom 18. Januar 2010 nahm das Bezirksgericht im Eheschutzverfahren davon Vormerk, dass B.A._ und A.A._ seit 1. April 2008 getrennt leben, stellte C.A._ unter die Obhut von A.A._ und genehmigte die Vereinbarung der Parteien betreffend die Kinderbelange. Darin verpflichtete sich B.A._, zugunsten von C.A._ einen monatlichen Unterhaltsbeitrag von Fr. 250.- zu zahlen und überdies die AHV-Zusatzrente für C.A._ direkt an A.A._ auszurichten. In der Folge zahlte die Ausgleichskasse die Kinderrente A.A._ aus.
Mit Urteil vom 1. Juni 2012 erkannte das Bezirksgericht, dass B.A._ nicht der Vater von C.A._ sei; dies teilte B.A._ der Ausgleichskasse mit Schreiben vom 22. Juli 2012 mit. A.A._, welcher weiterhin die Kinderrente ausbezahlt wurde, setzte die Ausgleichskasse mit Schreiben vom 9. September 2013 ebenfalls darüber in Kenntnis, dass B.A._ nicht der Vater ihres Sohnes C.A._ sei. Nach einer weiteren Mitteilung von B.A._ im Zusammenhang mit der Steuerbescheinigung vom 3. Januar 2014 für das Jahr 2013, dass er nicht der Vater von C.A._ sei, forderte die Ausgleichskasse von A.A._ die von März 2009 bis Februar 2014 ausgerichteten AHV-Kinderrenten im Betrag von insgesamt Fr. 45'532.- mit Verfügung vom 18. Februar 2014 zurück, woran sie auf Einsprache hin mit Entscheid vom 5. Mai 2014 festhielt.
B.
Die hiegegen eingereichte Beschwerde, mit welcher A.A._ beantragt hatte, unter Aufhebung des Einspracheentscheids sei auf die Rückforderung zu verzichten, eventuell sei diese um Fr. 8'988.- auf Fr. 36'544.- zu reduzieren, hiess das Sozialversicherungsgericht des Kantons Zürich nach Beiladung von B.A._ zum Verfahren mit Entscheid vom 21. Juni 2016 teilweise gut, hob den Einspracheentscheid vom 5. Mai 2014 auf und stellte fest, dass die Kinderrenten nur in der Höhe von Fr. 14'576.- zurückzuerstatten seien.
C.
Die Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei der Einspracheentscheid vom 5. Mai 2014 zu bestätigen.
Während A.A._ auf Abweisung der Beschwerde schliessen lässt, verzichten das Bundesamt für Sozialversicherungen und der als Mitinteressierter beigeladene B.A._ auf eine Vernehmlassung.

Erwägungen:
1.
Die Vorinstanz hat die Bestimmungen über den Anspruch von Pflegekindern auf eine Kinderrente der AHV (Art. 22ter Abs. 1 AHVG; Art. 49 AHVV in Verbindung mit Art. 25 Abs. 3 AHVG) zutreffend dargelegt. Richtig wiedergegeben hat sie auch die Grundsätze über die Rückforderung zu Unrecht ausbezahlter Leistungen unter den Voraussetzungen der Wiedererwägung oder der prozessualen Revision (Art. 25 Abs. 1 Satz 1 sowie Art. 53 Abs. 1 und 2 ATSG; <ref-ruling> E. 3.1 S. 327). Darauf wird verwiesen.
2.
2.1. Das kantonale Gericht hat festgehalten, die Ausrichtung der Kinderrente für C.A._ habe sich nicht von Anfang an, sondern erst nachträglich als unrichtig erwiesen, als feststand, dass dieser nicht der Sohn des Beigeladenen ist. Dies habe nicht zwingend zur Folge, dass die Rentenzusprechung rückwirkend gestützt auf Art. 53 ATSG aufzuheben ist. Auch wenn Verfügungen, die erst nachträglich, aber mit Wirkung ex tunc unrichtig wurden, aufgehoben werden könnten, wäre vorliegend keine Aufhebung angebracht. Die Rente sei in analoger Anwendung der Bestimmungen für Pflegekinder zu Recht ausgerichtet worden. Es lägen keine Anhaltspunkte dafür vor, dass der Beigeladene bis zur rückwirkenden Aufhebung der Vaterschaft für C.A._ nicht gleich wie für ein eigenes Kind gesorgt hatte. Die bis zur rechtskräftigen Aufhebung der Vaterschaft (Juni 2012) ausgerichteten Kinderrenten könnten somit mangels eines Rückkommenstitels nicht zurückgefordert werden. Die Kinderrenten ab August 2012 im Betrag von Fr. 14'576.- seien rechtzeitig innert der einjährigen Verwirkungsfrist zurückgefordert worden.
2.2. Die Ausgleichskasse wendet ein, dass entgegen den Ausführungen der Vorinstanz kein Pflegekindverhältnis zwischen B.A._ und C.A._ fingiert werden könne. Der gemeinsame Haushalt von B.A._ und A.A._ sei bereits per 1. April 2008, vor der Geburt von C.A._, aufgehoben worden. Dieser sei unter die Obhut seiner Mutter gestellt worden. Die Aufnahme zu Pflege und Erziehung in eine Hausgemeinschaft sei nicht erfüllt. Die Rückforderung der Kinderrente sei für den ganzen Zeitraum rechtens.
3.
3.1. Der vorinstanzliche Entscheid ist insoweit, als er bestätigt, dass die Ausgleichskasse die Rückforderung innerhalb der einjährigen Verwirkungsfrist des Art. 25 Abs. 2 ATSG verfügt hat, zu Recht unangefochten geblieben. Den vorinstanzlichen Erwägungen ist in diesem Punkt nichts beizufügen. Gemäss Art. 53 Abs. 2 ATSG kann die Ausgleichskasse auf formell rechtskräftige Verfügungen zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist; dabei hat die Rückerstattung zu Unrecht bezogener Leistungen entgegen der Auffassung der Vorinstanz mit Wirkung ex tunc zu erfolgen, soweit nicht Leistungen der Invalidenversicherung in Frage stehen (SVR 2012 IV Nr. 33 S. 131, 9C_363/2010). Dies gilt auch im vorliegenden Fall. Die Zusprechung einer AHV-Kinderrente an einen Altersrentner, der nicht der Vater des Kindes ist, für welches die Rente ausgerichtet wird, ist von Beginn an zweifellos unrichtig und nicht erst, nachdem das Nichtbestehen der Vaterschaft gerichtlich festgestellt wurde. Zu prüfen bleibt, ob die Ausrichtung der AHV-Kinderrente in analoger Anwendung der Bestimmungen für Pflegekinder als rechtmässig zu betrachten ist, wie die Vorinstanz ausführt.
3.2. Personen, welchen eine Altersrente zusteht, haben für jedes Kind, das im Falle ihres Todes eine Waisenrente beanspruchen könnte, Anspruch auf eine Kinderrente. Für Pflegekinder, die erst nach der Entstehung des Anspruchs auf eine Altersrente oder auf eine ihr vorausgehende Rente der Invalidenversicherung in Pflege genommen werden, besteht kein Anspruch auf Kinderrente, es sei denn, es handle sich um Kinder des anderen Ehegatten (Art. 22ter Abs. 1 AHVG). Pflegekinder haben beim Tod der Pflegeeltern Anspruch auf eine Waisenrente nach Art. 25 AHVG, wenn sie unentgeltlich zu dauernder Pflege und Erziehung aufgenommen worden sind (Art. 49 Abs. 1 AHVV). Zum Begriff der Pflegekindschaft hat das Eidgenössische Versicherungsgericht in SZS 2003 S. 544 (Urteil H 123/02 vom 24. Februar 2003 E. 2) dargelegt, eine solche liege vor, wenn ein Unmündiger in der Obhut von Personen lebt, die nicht seine Eltern sind. Sie ist kein selbstständiges Rechtsinstitut, sondern ein faktisches Familienverhältnis, dem das Recht einzelne Wirkungen des Kindesverhältnisses beilegt. Als Pflegekind gilt ein Kind, das sich in der Pflegefamilie tatsächlich der Lage eines ehelichen Kindes erfreut und dessen Pflegeeltern die Verantwortung für Unterhalt und Erziehung wie gegenüber einem eigenen Kind wahrnehmen. Das sozialversicherungsrechtlich wesentliche Element des Pflegekindverhältnisses liegt in der tatsächlichen Übertragung der Lasten und Aufgaben auf die Pflegeeltern, die gewöhnlich den leiblichen Eltern zufallen.
3.3. Zwischen B.A._ und dem am 14. Juli 2008 geborenen C.A._, dem Sohn von A.A._, lag kein Pflegeverhältnis im Sinne von Gesetz und Rechtsprechung vor. So lösten B.A._ und A.A._ den gemeinsamen Haushalt bereits am 1. April 2008, mehr als zwei Monate vor der Geburt von C.A._, auf. Eine Hausgemeinschaft zwischen B.A._ und dem Sohn seiner Ehefrau bestand somit nie. Der Sohn wurde gemäss Entscheid des Bezirksgerichts vom 18. Januar 2010 unter die Obhut seiner Mutter gestellt. Richtig ist, dass B.A._ einen monatlichen Unterhaltsbeitrag von Fr. 250.- für C.A._ bezahlte. Es kann jedoch nicht gesagt werden, dass er damit für den Unterhalt des Kindes aufgekommen ist. Ob und inwieweit B.A._ das Besuchsrecht, das im Eheschutzverfahren in der Verfügung vom 18. Januar 2010 geregelt wurde, wahrgenommen hat, lässt sich nicht feststellen. Klar ist jedoch, dass keine Hausgemeinschaft mit C.A._ vorlag, wie die Ausgleichskasse zu Recht geltend macht. Entgegen der Auffassung des kantonalen Gerichts lässt sich die Auszahlung der Kinderrente bis zur rechtskräftigen Aufhebung der Vaterschaft gemäss Urteil des Bezirksgerichts vom 1. Juni 2012 nicht mit dem Vorliegen eines Pflegeverhältnisses zwischen B.A._ und C.A._ begründen. Die Verfügung vom 12. November 2009, mit welcher die Ausgleichskasse B.A._ ab 1. August 2008 eine Kinderrente der AHV zugesprochen hat, ist damit zweifellos unrichtig (siehe dazu <ref-ruling> E. 3.1 S. 79); zudem ist ihre Berichtigung angesichts des in Frage stehenden Betrages von erheblicher Bedeutung, weshalb die Verwaltung wiedererwägungsweise auf die ursprüngliche Kinderrentenverfügung zurückkommen durfte, wobei dies entgegen den Erwägungen der Vorinstanz auch für die Kinderrenten gilt, die sie von August 2008 bis Juni 2012 ausbezahlt hat.
4.
Dem Verfahrensausgang entsprechende sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 21. Juni 2016 wird aufgehoben und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 5. Mai 2014 bestätigt.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, B.A._, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. März 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer