Sachverhalt: A. Mit Verfügungen vom 13. August 2004 und Einspracheentscheid vom 9. Juni 2005 sprach die IV-Stelle des Kantons Zürich dem 1960 geborenen A._ rückwirkend ab 1. September 1999 eine Invalidenrente (nebst Kinderrenten und - bis Ende 2003 - Zusatzrente für die Ehegattin) zu. Mit Beschwerdeentscheid vom 14. Dezember 2006 hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung und neuen Verfügung an die Verwaltung zurück. Nach Durchführung von Beweismassnahmen verneinte die IV-Stelle mit Verfügung vom 25. Juni 2009 jegliche Rentenberechtigung, da aufgrund der nunmehr gegebenen Erkenntnisse keine leistungsbegründende Invalidität vorliege. Mit Verfügung vom 26. Juni 2009 verpflichtete die Verwaltung überdies den Versicherten, für die Zeitperiode vom 1. September 1999 bis 31. Mai 2008 vorschussweise ausgerichtete Rentenbetreffnisse von gesamthaft Fr. 204'080.-, welche demnach zu Unrecht bezogen worden seien, zurückzuerstatten. Das wurde letztinstanzlich mit Urteil des Bundesgerichts 8C_300/2011 vom 30. Juni 2011 bestätigt. Im August 2011 reichte A._ ein Gesuch um Erlass der Rückerstattung ein. Die IV-Stelle wies das Gesuch mit Verfügung vom 11. Oktober 2012 und Einspracheentscheid vom 30. Januar 2013 ab, da es an dem für einen Erlass nebst anderem vorausgesetzten guten Glauben beim Leistungsbezug fehle. B. In teilweiser Gutheissung der von A._ hiegegen geführten Beschwerde hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid vom 30. Januar 2013 insoweit auf, als der Erlass der gesamten Rückforderung verweigert werde, und erliess die Rückforderung im Umfang von Fr. 168'856.-. Zudem wurde A._ im Rahmen seines Unterliegens in der Hauptsache die unentgeltliche Rechtspflege gewährt (Entscheid vom 20. Januar 2014). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das Bundesamt für Sozialversicherungen (BSV), es sei der vorinstanzliche Entscheid vollumfänglich aufzuheben und der Einspracheentscheid vom 30. Januar 2013 zu bestätigen. A._ lässt auf Abweisung der Beschwerde, soweit darauf einzutreten sei, schliessen und die unentgeltliche Rechtspflege für das letztinstanzliche Verfahren beantragen.