Sachverhalt: A. A.a. Der 1950 geborene A.A._ meldete sich am 2. Mai 2013 (Eingangsdatum) als Nichterwerbstätiger zum Bezug von Familienzulagen an. Die Familienausgleichskasse des Kantons Zürich sprach ihm mit Verfügung vom 12. Juli 2013 für seinen Sohn B.A._ (geb. 31. März 2013) Kinderzulagen ab 1. März 2013 bis 31. Dezember 2013 in der Höhe von monatlich Fr. 200.- zu. Diesen Anspruch bestätigte sie verfügungsweise für die Jahre 2014 und 2015. A.b. Nachdem A.A._ das ordentliche Rentenalter erreicht und einen Antrag auf eine Altersrente gestellt hatte, sprach ihm die Ausgleichskasse mit Verfügung vom 14. September 2015 eine Alters- zuzüglich einer Kinderrente ab dem 1. November 2015 zu. Nach getätigten Abklärungen der familiären und finanziellen Verhältnisse bestätigte die Familienausgleichskasse wiederum die zugesprochenen Kinderzulagen für die Jahre 2016 und 2017. A.c. Im Rahmen der Prüfung der weiteren Anspruchsberechtigung für das Jahr 2018 stellte die Familienausgleichskasse fest, dass A.A._ bereits Bezüger einer Altersrente ist. Mit Verfügung vom 11. Dezember 2017 forderte sie ihn auf, die im Zeitraum vom 1. November 2015 bis 31. Dezember 2017 zu viel bezogenen Familienzulagen in der Höhe von Fr. 5200.- zurückzuerstatten und wies ihn gleichzeitig auf die Möglichkeit hin, um Erlass der Rückerstattung zu ersuchen. Ein entsprechendes Gesuch wies die Familienausgleichskasse mit Verfügung vom 5. Februar 2018 mangels guten Glaubens ab. Daran hielt sie mit Einspracheentscheid vom 13. Juni 2018 fest. B. Eine vom Versicherten dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. November 2019 insoweit gut, als es die Sache unter Aufhebung des angefochtenen Entscheids an die Familienausgleichskasse zurückwies, damit diese nach Prüfung des Vorliegens einer grossen Härte erneut über das Erlassgesuch verfüge. C. Die Familienausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, unter Aufhebung des vorinstanzlichen Entscheids sei festzustellen, dass der gute Glaube nicht gegeben sei und daher das Gesuch um Erlass der Rückerstattung zu Recht abgewiesen worden sei. A.A._ beantragt Abweisung der Beschwerde, sofern darauf einzutreten sei. Das Bundesamt für Sozialversicherungen verzichtete auf eine Vernehmlassung.