Sachverhalt:
A.
Mit Verfügungen vom 13. August 2004 und Einspracheentscheid vom 9. Juni 2005 sprach die IV-Stelle des Kantons Zürich dem 1960 geborenen A._ rückwirkend ab 1. September 1999 eine Invalidenrente (nebst Kinderrenten und - bis Ende 2003 - Zusatzrente für die Ehegattin) zu. Mit Beschwerdeentscheid vom 14. Dezember 2006 hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung und neuen Verfügung an die Verwaltung zurück. Nach Durchführung von Beweismassnahmen verneinte die IV-Stelle mit Verfügung vom 25. Juni 2009 jegliche Rentenberechtigung, da aufgrund der nunmehr gegebenen Erkenntnisse keine leistungsbegründende Invalidität vorliege. Mit Verfügung vom 26. Juni 2009 verpflichtete die Verwaltung überdies den Versicherten, für die Zeitperiode vom 1. September 1999 bis 31. Mai 2008 vorschussweise ausgerichtete Rentenbetreffnisse von gesamthaft Fr. 204'080.-, welche demnach zu Unrecht bezogen worden seien, zurückzuerstatten. Das wurde letztinstanzlich mit Urteil des Bundesgerichts 8C_300/2011 vom 30. Juni 2011 bestätigt.
Im August 2011 reichte A._ ein Gesuch um Erlass der Rückerstattung ein. Die IV-Stelle wies das Gesuch mit Verfügung vom 11. Oktober 2012 und Einspracheentscheid vom 30. Januar 2013 ab, da es an dem für einen Erlass nebst anderem vorausgesetzten guten Glauben beim Leistungsbezug fehle.
B.
In teilweiser Gutheissung der von A._ hiegegen geführten Beschwerde hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid vom 30. Januar 2013 insoweit auf, als der Erlass der gesamten Rückforderung verweigert werde, und erliess die Rückforderung im Umfang von Fr. 168'856.-. Zudem wurde A._ im Rahmen seines Unterliegens in der Hauptsache die unentgeltliche Rechtspflege gewährt (Entscheid vom 20. Januar 2014).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das Bundesamt für Sozialversicherungen (BSV), es sei der vorinstanzliche Entscheid vollumfänglich aufzuheben und der Einspracheentscheid vom 30. Januar 2013 zu bestätigen.
A._ lässt auf Abweisung der Beschwerde, soweit darauf einzutreten sei, schliessen und die unentgeltliche Rechtspflege für das letztinstanzliche Verfahren beantragen.

Erwägungen:
1.
Sämtliche Voraussetzungen für das Eintreten auf die Beschwerde sind erfüllt. Der Beschwerdegegner begründet auch nicht, weshalb er dies antragsweise in Frage stellt.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3.
Streitig und zu prüfen ist, ob das kantonale Gericht die Rückerstattung zu Recht im Umfang von Fr. 168'856.- erlassen hat.
3.1. Gemäss Gesetz hat unrechtmässige Leistungen nicht zurückzuerstatten, wer diese in gutem Glauben empfangen hat, wenn eine grosse Härte vorliegt (Art. 25 Abs. 1 zweiter Satz ATSG; vgl. auch Art. 4 und Art. 5 ATSV).
3.2. Die Vorinstanz ist zum Ergebnis gelangt, der gute Glaube des Beschwerdegegners sei hinsichtlich der Leistungsbezüge ab 4. Januar 2007, dem Zeitpunkt, in welchem ihm der kantonale Gerichtsentscheid vom 14. Dezember 2006 eröffnet worden sei, zu verneinen, was einen Erlass der entsprechenden Rückerstattung ausschliesse. Bei den Leistungsbezügen bis 3. Januar 2007 hingegen seien sowohl der gute Glaube als auch die grosse Härte gegeben, weshalb die Rückerstattung zu erlassen sei.
Das Beschwerde führende BSV macht geltend, das kantonale Gericht habe bezüglich des gewährten Erlasses zu Unrecht den guten Glauben bejaht. Der Beschwerdegegner postuliert, es sei der vorinstanzlichen Betrachtungsweise zu folgen.
3.3. Der gute Glaube ist zu vermuten (<ref-law>; Ueli Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 33 zu <ref-law>; Ulrich Meyer, Die Rückerstattung von Sozialversicherungsleistungen, ZBJV 1995 S. 473 ff., in: Ausgewählte Schriften, 2013, S. 141 ff., 149). Er ist nach der Rechtsprechung als Erlassvoraussetzung nicht schon mit der Unkenntnis des Rechtsmangels gegeben. Der Leistungsempfänger darf sich vielmehr nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube entfällt somit einerseits von vornherein, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war (<ref-ruling> E. 4 S. 220 f. mit Hinweis).
3.4. Das kantonale Gericht hat den guten Glauben beim Leistungsbezug bis 3. Januar 2007 mit der Begründung bejaht, einerseits habe die Rentenauszahlung vor der rechtskräftigen Zusicherung mit <ref-law> - betreffend die vorschussweise Auszahlung von Versicherungsleistungen - eine hinreichende gesetzliche Grundlage gehabt und sei daher nicht unrechtmässig gewesen. Anderseits sei die gesetzliche Vermutung des guten Glaubens bis zum besagten Zeitpunkt nicht widerlegt. Ein späteres arglistiges Verschweigen und eine spätere Meldepflichtverletzung schlössen den guten Glauben beim Empfang früherer Rentenleistungen nicht aus. Ebenso wenig lasse sich aus einem späteren Verhalten eine Umkehr der Beweislast für das Vorliegen des guten Glaubens in der Periode vor der Meldepflichtverletzung begründen. Die letztgenannten Erwägungen der Vorinstanz beziehen sich darauf, dass der Beschwerdegegner zum einen ab Februar 2007 eine Berufstätigkeit ausgeübt hat, ohne dies der Verwaltung zu melden, und zum anderen im November 2007 bei einer medizinischen Begutachtung diese Berufstätigkeit verschwiegen hat. Das wurde im bundesgerichtlich bestätigten Entscheid vom 9. März 2011 des kantonalen Gerichts so festgestellt. Im hier angefochtenen Entscheid hat die Vorinstanz weiter erkannt, es fehlten Nachweise dafür, dass der Beschwerdegegner bereits vor Februar 2007 eine Meldepflichtverletzung begangen oder die Leistungen bösgläubig entgegengenommen habe.
3.5. Das BSV macht geltend, der gute Glaube entfalle als Erlassvoraussetzung von vornherein, wenn der Rückerstattungstatbestand der Melde- oder Auskunftspflichtverletzung durch ein arglistiges oder grobfahrlässiges Verhalten herbeigeführt worden sei. Gemäss den vorinstanzlichen Erwägungen müsse die Unkenntnis der Rechtmässigkeit des Leistungsbezugs grundsätzlich in dem Moment vorliegen, in welchem ein Recht erworben werde. Es stehe aber fest, dass der Beschwerdegegner durch die Meldepflichtverletzung und die Falschangabe bezüglich Berufsanamnese versucht habe, nicht nur künftige Renten, sondern auch die vorschussweise bereits bezogenen Leistungen unrechtmässig zugesprochen zu erhalten. Das schliesse den guten Glauben auch bezüglich dieser Leistungen aus.
Diese Argumentation geht dahin, dass ein solches Verhalten der versicherten Person den guten Glauben auch rückwirkend, für frühere Leistungsbezüge, ausschliesst, sofern diese vorschussweise und nicht aufgrund definitiver Leistungsverfügung erfolgt sind. Dem kann nicht gefolgt werden. Massgeblich ist der gute Glaube während des Leistungsbezugs. Das wird auch durch den Gesetzeswortlaut "wer Leistungen in gutem Glauben empfangen hat" (französische Fassung: "lorsque l'intéressé était de bonne foi; italienische Fassung: "se l'interessato era in buona fede") in Art. 25 Abs. 1 zweiter Satz ATSG verdeutlicht und gilt unabhängig davon, ob die Leistungen nun gestützt auf eine rechtskräftige Verfügung oder vorschussweise im Sinne von <ref-law> bezogen wurden. Für die vom BSV postulierte rückwirkende Verneinung des guten Glaubens bei bevorschussten Leistungen besteht keine Rechtsgrundlage. Dem Urteil des Bundesgerichts 9C_805/2008 vom 13. März 2009 lässt sich entgegen der in der Beschwerde vertretenen Auffassung nichts entnehmen, was eine andere Betrachtungsweise rechtfertigen könnte. Auch der Einwand, die Vorinstanz habe falsche Schlüsse aus diesem Präjudiz gezogen, ist unbegründet.
3.6. Die vorinstanzliche Beurteilung, wonach die Vermutung des guten Glaubens bis zum 3. Juli 2007 nicht widerlegt sei, wird ansonsten nicht in Frage gestellt und gibt keinen Anlass zu Bemerkungen. Gleiches gilt für die Erkenntnis des kantonalen Gerichts, die weitere Erlassvoraussetzung der grossen Härte der Rückerstattung sei gegeben. Die Beschwerde ist somit abzuweisen.
4.
Es werden keine Gerichtskosten erhoben (Art. 66 Abs. 1 und 4 BGG). Das BSV hat dem Beschwerdegegner eine Parteientschädigung auszurichten ( <ref-law>). Damit ist dessen Gesuch betreffend unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Das Bundesamt für Sozialversicherungen hat den Rechtsvertreter des Beschwerdegegners für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Zürich und dem Sozialversicherungsgericht des Kantons Zürich schriftlich mitgeteilt.
Luzern, 13. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz