Sachverhalt:
A.
A.a. Der 1950 geborene A.A._ meldete sich am 2. Mai 2013 (Eingangsdatum) als Nichterwerbstätiger zum Bezug von Familienzulagen an. Die Familienausgleichskasse des Kantons Zürich sprach ihm mit Verfügung vom 12. Juli 2013 für seinen Sohn B.A._ (geb. 31. März 2013) Kinderzulagen ab 1. März 2013 bis 31. Dezember 2013 in der Höhe von monatlich Fr. 200.- zu. Diesen Anspruch bestätigte sie verfügungsweise für die Jahre 2014 und 2015.
A.b. Nachdem A.A._ das ordentliche Rentenalter erreicht und einen Antrag auf eine Altersrente gestellt hatte, sprach ihm die Ausgleichskasse mit Verfügung vom 14. September 2015 eine Alters- zuzüglich einer Kinderrente ab dem 1. November 2015 zu. Nach getätigten Abklärungen der familiären und finanziellen Verhältnisse bestätigte die Familienausgleichskasse wiederum die zugesprochenen Kinderzulagen für die Jahre 2016 und 2017.
A.c. Im Rahmen der Prüfung der weiteren Anspruchsberechtigung für das Jahr 2018 stellte die Familienausgleichskasse fest, dass A.A._ bereits Bezüger einer Altersrente ist. Mit Verfügung vom 11. Dezember 2017 forderte sie ihn auf, die im Zeitraum vom 1. November 2015 bis 31. Dezember 2017 zu viel bezogenen Familienzulagen in der Höhe von Fr. 5200.- zurückzuerstatten und wies ihn gleichzeitig auf die Möglichkeit hin, um Erlass der Rückerstattung zu ersuchen. Ein entsprechendes Gesuch wies die Familienausgleichskasse mit Verfügung vom 5. Februar 2018 mangels guten Glaubens ab. Daran hielt sie mit Einspracheentscheid vom 13. Juni 2018 fest.
B.
Eine vom Versicherten dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. November 2019 insoweit gut, als es die Sache unter Aufhebung des angefochtenen Entscheids an die Familienausgleichskasse zurückwies, damit diese nach Prüfung des Vorliegens einer grossen Härte erneut über das Erlassgesuch verfüge.
C.
Die Familienausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, unter Aufhebung des vorinstanzlichen Entscheids sei festzustellen, dass der gute Glaube nicht gegeben sei und daher das Gesuch um Erlass der Rückerstattung zu Recht abgewiesen worden sei.
A.A._ beantragt Abweisung der Beschwerde, sofern darauf einzutreten sei. Das Bundesamt für Sozialversicherungen verzichtete auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Das Bundesgericht prüft die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1.1 S. 154 mit Hinweis).
1.2. Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient, um einen selbstständig eröffneten Vor- oder Zwischenentscheid im Sinne von <ref-law>. Die Zulässigkeit der Beschwerde setzt somit alternativ voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b). Mit der Bejahung des guten Glaubens enthält der angefochtene Entscheid materiell verbindliche Feststellungen, welche die Familienausgleichskasse bei Vorliegen des weiteren Erfordernisses (grosse Härte, vgl. <ref-law>) verpflichten, dem Beschwerdegegner die Rückerstattungsforderung zu erlassen. Da der darauf beruhende Endentscheid praktisch nicht angefochten und das Ergebnis nicht mehr korrigiert werden könnte, liegt ein nicht wieder gutzumachender Nachteil nach <ref-law> vor (vgl. Urteil 8C_535/2018 vom 29. Oktober 2018 E. 1.2 mit weiteren Hinweisen)
1.3. Die übrigen Formerfordernisse sind ebenfalls erfüllt, weshalb auf die Beschwerde einzutreten ist.
Etwas anderes ergibt sich auch nicht aufgrund des Umstands, dass die Beschwerdeführerin im Rechtsbegehren das Datum des angefochtenen Gerichtsentscheids - versehentlich - unrichtig angibt. Denn aufgrund der übrigen Angaben, namentlich des in der Beschwerde mehrfach korrekt genannten Datums, besteht nicht der geringste Zweifel darüber, um welches Anfechtungsobjekt (<ref-law>) es hier geht.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 4.2 S. 61 mit Hinweis).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3.
Es steht fest und ist unbestritten, dass der Beschwerdegegner vom 1. November 2015 bis 31. Dezember 2017 keinen Anspruch auf Familienzulagen hatte und er die in diesem Zeitraum ausgerichteten Zulagen in der Höhe von Fr. 5200.- unrechtmässig bezog. Zu prüfen ist einzig, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die Erlassvoraussetzung des guten Glaubens bejahte.
4.
4.1. Gemäss <ref-law>, der auf die Rückerstattung von Familienzulagen Anwendung findet (vgl. Art. 1 des Bundesgesetzes vom 24. März 2006 über die Familienzulagen [Familienzulagengesetz, FamZG; SR 836.2]), sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben bezogen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (<ref-law>). Der gute Glaube als Erlassvoraussetzung ist nicht schon mit der Unkenntnis des Rechtsmangels gegeben. Der Leistungsempfänger darf sich vielmehr nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube entfällt somit einerseits von vornherein, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Andererseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war (<ref-ruling> E. 4 S. 220 mit Hinweisen). Wie in anderen Bereichen beurteilt sich das Mass der erforderlichen Sorgfalt nach einem objektiven Massstab, wobei aber das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare (Urteilsfähigkeit, Gesundheitszustand, Bildungsgrad usw.) nicht ausgeblendet werden darf (<ref-ruling> E. 4 S. 220 f. mit Hinweisen; Urteil 8C_448/2017 vom 3. Januar 2018 E. 2.1). Das Verhalten, das den guten Glauben ausschliesst, braucht nicht in einer Melde- oder Anzeigepflichtverletzung zu bestehen. Auch ein anderes Verhalten, z.B. die Unterlassung, sich bei der Verwaltung zu erkundigen, fällt in Betracht (Urteile 8C_178/2018 vom 6. August 2018 E. 3.1; 9C_184/2015 vom 8. Mai 2015 E. 2; C 257/97 vom 23. Dezember 1997 E. 4b, in: ARV 1998 Nr. 41 S. 234).
4.2. Nach der Rechtsprechung ist bei der Frage nach der Gutgläubigkeit beim Leistungsbezug hinsichtlich der Überprüfungsbefugnis des Gerichts zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage von der Vorinstanz für das Bundesgericht grundsätzlich verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223 mit Hinweisen; Urteile 8C_535/2018 vom 29. Oktober 2018 E. 5.2; 9C_181/2017 vom 6. Juni 2017 E. 3.2; 9C_413/2016 vom 26. September 2016 E. 3.1, in: SVR 2017 AHV Nr. 3 S. 5).
5.
5.1. Wie die Vorinstanz zutreffend feststellte und beschwerdeweise nicht bestritten wird, besteht kein Grund zur Annahme, dass der Beschwerdeführer um die Unrechtmässigkeit des Leistungsbezugs gewusst oder die Auszahlung der nun zurückgeforderten Familienzulagen in böswilliger Absicht erwirkt hätte. So stellte das kantonale Gericht fest, dass dieser die ihm zugestellten Verlängerungsanträge zum Bezug von Familienzulagen jeweils korrekt ausgefüllt bzw. die entsprechenden Fragen wahrheitsgemäss beantwortet hatte.
5.2. Vorinstanz und Familienausgleichskasse sind sich ferner darüber einig, dass der Beschwerdegegner zufolge Erreichens des ordentlichen Rentenalters und Bezugs einer Altersrente verpflichtet war, der Kasse die Veränderung seiner persönlichen Verhältnisse zu melden (<ref-law> i.V.m. Art. 1 FamZG). Allerdings verneinte das kantonale Gericht nach Würdigung der konkreten Umstände eine grobfahrlässige Verletzung der Sorgfaltspflicht. Denn dem Beschwerdegegner könne höchstens leichte Fahrlässigkeit angelastet werden.
5.3. Die vorinstanzliche Auffassung hält vor Bundesrecht stand:
5.3.1. Wenn die Beschwerdeführerin einwendet, dass der Versicherte die veränderten Verhältnisse hätte melden müssen, selbst wenn der meldepflichtige Tatbestand in der Verfügung nicht als solcher aufgelistet sei, verfängt dies nicht. Wie zuvor ausgeführt (vgl. E. 5.2), steht nicht zur Diskussion, dass der Beschwerdegegner aufgrund der veränderten Verhältnisse meldepflichtig war bzw. gewesen wäre. Die Vorinstanz begründete ihren Entscheid auch nicht dahingehend, dass die Meldepflicht des Beschwerdegegners mangels klarer Bezeichnung in den Verfügungen der Familienausgleichskasse oder expliziter Nachfrage im Verlängerungsantrag weggefallen wäre. Sie legte vielmehr dar, weshalb das Verhalten des Beschwerdegegners - mithin seine unterlassene Mitteilung der veränderten Verhältnisse - unter Berücksichtigung der konkreten Umstände höchstens als leichte Fahrlässigkeit zu werten sei. Mit diesen vorinstanzlichen Erwägungen setzt sich die Beschwerdeführerin allerdings nicht auseinander. Sie bringt nichts vor und es ist nicht auf Anhieb ersichtlich, was sie als bundesrechtswidrig erscheinen liesse.
5.3.2. Unbehelflich sind auch die übrigen Vorbringen der Beschwerdeführerin. Insbesondere war die Meldepflicht für den Versicherten selbst bei Aufwendung der gehörigen Sorgfalt nicht ohne Weiteres erkennbar. Das kantonale Gericht erwog auch in dieser Hinsicht bundesrechtskonform, der Versicherte hätte die Unrechtmässigkeit des Leistungsbezugs selbst bei gebotener Sorgfalt nicht erkennen können, zumal der Bedarf an teilweisem Ausgleich der finanziellen Belastung durch das Kind nach wie vor gegeben sei und eine Kumulation von Familienzulagen und Kinderrente der AHV nicht grundsätzlich ausser Betracht falle. Eine offensichtliche, leichte Erkennbarkeit der Unrechtmässigkeit des Leistungsbezugs ergebe sich auch nicht aus der in den jeweiligen Verfügungen vermerkten Bezeichnung "Familien- bzw. Kinderzulagen für Nichterwerbstätige", da der Beschwerdegegner vor Erreichen des Rentenalters seit mehreren Jahren keiner Erwerbstätigkeit mehr nachgegangen sei und als Nichterwerbstätiger gegolten habe, was sich mit dem Eintritt in das Rentenalter nicht verändert habe. Inwiefern das kantonale Gericht unter Würdigung dieser gesamten Umstände, einschliesslich der Qualifizierung des Verhaltens des Beschwerdegegners als höchstens leicht fahrlässig Bundesrecht verletzt haben soll, legt die Beschwerdeführerin nicht dar. Die vorinstanzlichen Erwägungen geben denn auch zu keiner Beanstandung Anlass.
5.3.3. Offen liess die Vorinstanz hingegen, ob die Nichtmeldung an die Familienausgleichskasse dem Beschwerdegegner überhaupt als grobfahrlässig zum Vorwurf gereichen könnte. Nachdem die Meldung einer allfälligen Änderung der persönlichen Verhältnisse gemäss Hinweis auf der Rückseite der Verfügungen wie auch in den Verlängerungsformularen an die "SVA Zürich" (Kompetenzzentrum für Sozialversicherung des Kantons Zürich bzw. "SVA" zu erstatten sei, habe der Versicherte dies mit dem Antrag um Ausrichtung einer Altersrente bei der Ausgleichskasse der SVA immerhin faktisch gemacht. Wie es sich damit verhält, braucht indessen nicht geklärt zu werden. Denn nach dem Gesagten (vgl. hiervor E. 4.3.1) ist der gute Glaube bei einer Meldepflichtverletzung die im vorliegenden Fall höchstens als leicht fahrlässig zu qualifizieren ist, zu bejahen (vgl. E. 4.1). Die Beschwerde ist unbegründet und demzufolge abzuweisen.
6.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der unterliegenden Beschwerdeführerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1600.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Elmiger-Necipoglu