Sachverhalt: A. Die geschiedene Ehefrau von A.A._ bezog eine Invalidenrente für sich und eine Kinderrente für den am 20. Oktober 1996 geborenen gemeinsamen Sohn B.A._. Nachdem dieser am 1. Januar 2013 zu seinem Vater gezogen war, verfügte die IV-Stelle des Kantons Zürich am 20. Februar 2013 die Auszahlung der Kinderrente an A.A._. Seit dem 1. November 2014 richtet die Ausgleichskasse Schwyz B.A._ aufgrund einer vollen Arbeitsunfähigkeit eine ausserordentliche Invalidenrente aus. Mit Verfügung vom 5. Juni 2015 forderte die IV-Stelle des Kantons Zürich die ab 1. November 2014 ausgerichtete Kinderrente in Höhe von Fr. 3'639.- zurück. Am 11. Juni 2015 ersuchte A.A._ um Erlass der Rückerstattung. Mit Verfügung vom 13. November 2015 lehnte die IV-Stelle das Gesuch ab. B. Die von A.A._ hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 10. Februar 2016 gut, bejahte den guten Glauben und wies die Sache zur Prüfung der weiteren Erlassvoraussetzung der grossen wirtschaftlichen Härte und zu neuer Verfügung an die Verwaltung zurück. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des vorinstanzlichen Entscheids. Es sei festzustellen, dass aufgrund der Meldepflichtverletzung der gute Glaube als Voraussetzung für den Erlass der Rückerstattung zu viel ausgerichteter Kinderrenten im Betrag von Fr. 3'639.- nicht gegeben sei. Der Versicherte schliesst sinngemäss auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.