Sachverhalt: A. Mit Verfügung vom 12. Juni 2015 lehnte die IV-Stelle des Kantons Zürich das Gesuch des 1968 geborenen A._ um Zusprechung einer Invalidenrente nach Durchführung des Vorbescheidverfahrens ab. Mit einer weiteren Verfügung vom 23. Juni 2015 lehnte die IV-Stelle das Gesuch des Versicherten um unentgeltliche Verbeiständung im Verwaltungsverfahren ebenfalls ab. B. A._ liess gegen beide Verfügungen Beschwerde führen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die Beschwerdeverfahren. Mit Entscheid vom 16. November 2016 wies es die gegen die Verfügung betreffend den Invalidenrentenanspruch vom 12. Juni 2015 eingereichte Beschwerde ab, während es in Gutheissung der gegen die Verfügung vom 23. Juni 2015 eingereichten Beschwerde feststellte, dass der Beschwerdeführer Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren habe. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, der vorinstanzliche Entscheid sei insoweit aufzuheben, als damit der Anspruch des Versicherten auf unentgeltliche Verbeiständung im Verwaltungsverfahren bejaht wurde, und die Verfügung vom 23. Juni 2015 sei zu bestätigen. Während A._ auf Abweisung der Beschwerde schliessen und um die Bewilligung der unentgeltlichen Rechtspflege ersuchen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.