Sachverhalt:
A.
A.a. Der 1958 geborene P._ meldete sich am 5. Mai 2004 zum Bezug von Leistungen der Invalidenversicherung an. Nach Abklärung der gesundheitlichen und erwerblichen Verhältnisse sprach ihm die IV-Stelle Obwalden mit Verfügung vom 17. Januar 2008 rückwirkend ab 1. Dezember 2003 eine ganze Rente und ab 1. November 2006 eine Viertelsrente zu. Das Verwaltungsgericht des Kantons Obwalden hiess die dagegen erhobene Beschwerde in dem Sinne gut, dass es die Verfügung vom 17. Januar 2008 aufhob und die Sache zur weiteren Abklärung und Neubeurteilung gemäss den Erwägungen an die IV-Stelle zurückwies (Entscheid vom 12. November 2009). In der Folge holte die IV-Stelle die Expertise des Instituts X._ vom 11. November 2010 ein. Nach Durchführung des Vorbescheidverfahrens bejahte sie mit Verfügung vom 19. April 2011 einen Anspruch auf eine befristete ganze Rente für die Zeit vom 1. Dezember 2003 bis 31. Dezember 2004, basierend auf einem Invaliditätsgrad von 100 % (bestätigt mit Entscheid des Verwaltungsgerichts des Kantons Obwalden vom 23. Januar 2013 und Urteil des Bundesgerichts 8C_153/2013 vom 10. Mai 2013).
A.b. Mit Verfügung vom 21. April 2011 forderte die IV-Stelle für die Zeit vom 1. Januar 2005 bis 31. März 2011 zu Unrecht erbrachte Rentenleistungen im Gesamtbetrag von Fr. 41'423.- zurück.
B.
Nachdem das Verwaltungsgericht den gegen die Rückforderungsverfügung vom 21. April 2011 eingeleiteten Prozess bis zum Vorliegen des Urteils des Bundesgerichts 8C_153/2013 vom 10. Mai 2013 zur Rentenfrage sistiert hatte, wies es die Beschwerde nach Wiederaufnahme des Verfahrens mit Entscheid vom 20. August 2013 ab.
C.
P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei festzustellen, dass der Invalidenversicherung kein Rückforderungsanspruch zustehe.
Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen (BSV) schliessen auf Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; vgl. dazu <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft es - unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254 mit Hinweisen).
2.
2.1. Die für die Beurteilung der streitigen Rückforderung massgebende gesetzliche Bestimmung in Art. 25 Abs. 1 Satz 1 ATSG und die von der Rechtsprechung dazu weiter konkretisierten Grundsätze (vgl. UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, Rz. 12 ff. zu Art. 25 ATSG) sind im angefochtenen Entscheid zutreffend dargelegt worden. Dasselbe gilt für die in Art. 25 Abs. 2 Satz 1 ATSG für die Rückerstattungsforderung vorgesehenen Verwirkungsfristen (<ref-ruling> E. 4.1 S. 582; <ref-ruling> E. 3a S. 433) von einem Jahr seit Kenntnisnahme des Rückforderungsgrundes und fünf Jahren nach Entrichtung der einzelnen Leistung. Darauf wird verwiesen.
2.2. Nach der bundesgerichtlichen Praxis ist für den Beginn der relativen einjährigen Verwirkungsfrist nach Art. 25 Abs. 2 Satz 1 ATSG nicht das erstmalige unrichtige Handeln und die daran anknüpfende unrechtmässige Leistungsausrichtung massgebend. Abzustellen ist vielmehr auf jenen Zeitpunkt, in welchem die Verwaltung bei der gebotenen und ihr zumutbaren Aufmerksamkeit ihren zur unrechtmässigen Leistungserbringung führenden Fehler und damit das Bestehen der Voraussetzungen für eine Rückerstattungsforderung später hätte erkennen können und müssen (<ref-ruling> E. 1 S. 383; <ref-ruling> E. 5a und 5b/aa S. 274 ff., je mit Hinweisen; vgl. auch SVR 2002 IV Nr. 2 S. 5, I 678/00 E. 3b). Dies ist dann der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17; Urteil 9C_517/2013 vom 4. Februar 2014 E. 4.1).
3.
Die Verwaltung hatte im vorliegend zu beurteilenden Fall nach Ansicht der Vorinstanz bereits mit der Ausrichtung von Rentenleistungen gestützt auf die nicht rechtskräftig gewordene Verfügung vom 17. Januar 2008 einen ersten Fehler begangen. Mit dem diese Verfügung aufhebenden Entscheid des Verwaltungsgerichts vom 12. November 2009 sei für die IV-Stelle in der Folge erkennbar geworden, dass die bisherigen Leistungen zu Unrecht ausgerichtet worden seien. Zu jenem Zeitpunkt sei jedoch wegen der ungenügenden medizinischen Abklärungen der Rentenanspruch noch nicht festgestanden. Die gesundheitlich bedingten Einschränkungen der Arbeitsfähigkeit und damit die Grundlagen für die Bestimmung des Rentenanspruchs seien erst im Rahmen der Begutachtung des Instituts X._ rechtsgenüglich abgeklärt worden. Mit Vorliegen des Gutachtens des Instituts X._ vom 11. November 2010 habe über den Rückforderungsanspruch an sich und über dessen Umfang Klarheit bestanden. Demnach sei der Rückforderungsanspruch mit der Verfügung vom 21. April 2011 rechtzeitig innerhalb der relativen einjährigen Verwirkungsfrist geltend gemacht worden.
4.
4.1. Der Beschwerdeführer lässt geltend machen, das Bundesgericht sei in einem vergleichbaren Fall (Urteil 9C_877/2010 vom 28. März 2011) zu einem anderen Schluss gelangt. Dort sei die Eröffnung des kantonalen Rückweisungsentscheids als fristauslösend für die relative einjährige Verwirkungsfrist nach Art. 25 Abs. 2 ATSG qualifiziert worden. Vorliegend könne nichts anderes gelten. Die Frist habe demgemäss mit der Eröffnung des Rückweisungsentscheids vom 12. November 2009 zu laufen begonnen. Bei Erlass der Rückforderungsverfügung vom 21. April 2011 sei sie bereits abgelaufen gewesen. Daher sei der Rückforderungsanspruch verwirkt.
4.2. Das kantonale Gericht bringt im letztinstanzlichen Verfahren vor, der Sachverhalt im vom Versicherten zitierten Bundesgerichtsurteil sei mit dem vorliegenden Fall nicht identisch. Gestützt auf die zum Zeitpunkt des Rückweisungsentscheids vorhandenen medizinischen Akten sei eine Beurteilung der Arbeitsfähigkeit nämlich noch nicht möglich gewesen. Die für die Beurteilung des Renten- bzw. Rückforderungsanspruchs erheblichen Umstände seien erst mit dem Gutachten des Instituts X._ vom 11. November 2010 bekannt geworden. Zuvor habe die IV-Stelle keine Kenntnis über das Bestehen eines Rückforderungsanspruchs und dessen Höhe gehabt.
4.3. Das BSV vertritt ebenfalls die Ansicht, dass die IV-Stelle im Zeitpunkt des kantonalen Rückweisungsentscheids über einen allfälligen Rückforderungsanspruch noch nicht im Bild habe sein können. Zuerst habe sie die weiteren medizinischen Abklärungen vornehmen müssen. Erst danach - am 11. November 2011 (Datum des Gutachtens des Instituts X._; recte: 2010) - seien ihr die notwendigen Umstände bekannt gewesen. Schliesslich sei zu beachten, dass eine IV-Stelle bei einer Rückweisung in den meisten Fällen keine oder ungenügende Kenntnis über den Bestand oder den Umfang des Rentenanspruchs habe. Wäre der Rückweisungsentscheid für den Beginn des Fristenlaufs massgebend, hätte dies zur Folge, dass die Verwaltung die Rentenauszahlung jeweils ab Rückweisungsentscheid sistieren müsste, um den Rückforderungsanspruch nicht zu verwirken. Dieses Resultat überzeuge nicht und eine entsprechende Praxis wäre nicht im Sinn der Versicherten und der Invalidenversicherung.
4.4. Die IV-Stelle verweist in ihrer Vernehmlassung namentlich auf ihre Stellungnahmen im vorinstanzlichen Verfahren sowie den angefochtenen Gerichtsentscheid und verzichtet auf weitere Ausführungen.
5.
5.1. Das Urteil 9C_877/2010 vom 28. März 2011 basiert auf folgender Ausgangslage: Die IV-Stelle sprach dem dortigen Beschwerdeführer eine Invalidenrente zu und richtete diese in der Folge unverändert aus, obwohl er die Rentenverfügung und den diese bestätigenden Einspracheentscheid angefochten und das kantonale Gericht die Angelegenheit schliesslich zu weiteren medizinischen Abklärungen an die Verwaltung zurückgewiesen hatte. Das Bundesgericht schloss, zufolge Fehlens eines rechtskräftigen leistungszusprechenden Verwaltungsaktes oder Gerichtsentscheids seien die Rentenzahlungen ohne Rechtsgrund und damit zu Unrecht erfolgt. Der Rückweisungsentscheid des kantonalen Gerichts bilde umso weniger eine genügende rechtliche Grundlage für die Ausrichtung von Leistungen, da im Rückweisungsverfahren ein Rentenanspruch möglicherweise überhaupt verneint werden könne (E. 3.2 mit Hinweis auf das Urteil 8C_468/2007 vom 6. Dezember 2007 E. 6.2.2 und <ref-ruling> E. 2d S. 217). Bei der Prüfung der Frage, ob der Rückforderungsanspruch rechtzeitig geltend gemacht worden sei, müsse davon ausgegangen werden, dass Leistungen nur ausgerichtet werden dürften, wenn es dafür eine Grundlage im Gesetz gebe, der Anspruch als solcher und in masslicher Hinsicht im dafür vorgesehenen Verfahren festgestellt worden sei (betreffend Renten der Invalidenversicherung: Art. 49 und 51 ATSG sowie Art. 58 IVG und Art. 74ter lit. f IVV) und der leistungszusprechende Entscheid (Verfügung, Einsprache- oder Gerichtsentscheid) in Rechtskraft erwachsen sei. Der erste Fehler sei hier bereits mit der erstmaligen Rentenauszahlung gestützt auf die - in keinem Zeitpunkt rechtsbeständig gewordene - Rentenverfügung bzw. den (angefochtenen) Einspracheentscheid passiert. Aufgrund des diesen Verwaltungsakt aufhebenden kantonalen Gerichtsentscheids hätte die IV-Stelle bei der gebotenen und zumutbaren Aufmerksamkeit ohne weiteres erkennen können und müssen, dass die bisherigen und weiterhin (unverändert) ausgerichteten Leistungen unrechtmässig erfolgt seien. Die relative einjährige Verwirkungsfrist nach Art. 25 Abs. 2 Satz 1 ATSG habe deshalb mit der Eröffnung dieses Entscheids zu laufen begonnen (E. 4.2.2).
5.2.
5.2.1. Es ist dem Beschwerdeführer beizupflichten, dass dem Urteil 9C_877/2010 vom 28. März 2011 ein vergleichbarer Sachverhalt zugrunde liegt. Die Vorinstanz betont aber in casu zu Recht, dass die IV-Stelle im Zeitpunkt des kantonalgerichtlichen Rückweisungsentscheids das künftige Ergebnis mit Befristung der ganzen Rente auf 31. Dezember 2004 und Verneinung eines weiteren Rentenanspruchs nicht absehen konnte. Der Versicherte hatte im damaligen Beschwerdeverfahren eine unbefristete ganze Rente gefordert und geltend gemacht, die IV-Stelle hätte nicht vollumfänglich auf die Beurteilung der Arbeitsfähigkeit durch die Unfallversicherung abstellen dürfen. Das kantonale Gericht hiess die Beschwerde in dem Sinne gut, dass es die angefochtene Rentenverfügung aufhob und die Sache zur weiteren Abklärung und Neubeurteilung im Sinne der Erwägungen an die IV-Stelle zurückwies. In den Erwägungen hielt es fest, die vorhandenen Arztberichte seien weder umfassend noch schlüssig, weshalb dem Antrag des Versicherten auf erneute Begutachtung durch einen Spezialisten stattzugeben sei. Die begutachtende Fachperson werde die Auswirkungen der unfallbedingten Beschwerden und zusätzlich der neu diagnostizierten Diskushernie festzustellen haben. Mit Blick auf diese Ausführungen musste die IV-Stelle eher damit rechnen, dass sie nach den zusätzlichen Abklärungen Rentennachzahlungen zu leisten haben werde.
5.2.2. Im vorliegenden Fall steht allein zur Debatte, ob die IV-Stelle im Zeitpunkt des Rückweisungsentscheids vom 12. November 2009 grundsätzlich und im Ausmass Kenntnis von ihrem Rückforderungsanspruch haben konnte und musste (E. 2.2 hiervor).
5.2.2.1. Seit der mit <ref-ruling> vorgenommenen Rechtsprechungsänderung ist der Beschwerde führenden Partei auch dann Gelegenheit zum Rückzug des Rechtsmittels zu geben, wenn eine rentenzusprechende Verfügung aufgehoben und die Sache zur weiteren Abklärung und Entscheidung an die IV-Stelle zurückgewiesen werden soll. Die Hinweispflicht kann sich allerdings nach der neuen Praxis erübrigen, wenn das kantonale Gericht in den Erwägungen des Rückweisungsentscheids die von der IV-Stelle verfügte oder von ihm selber bejahte teilweise Rente abschliessend als ausgewiesen und begründet erklärt (<ref-ruling> E. 3.2.4 S. 320). Da der Entscheid vom 12. November 2009 vor der Rechtsprechungsänderung erging, kann - zur Einschätzung des definitiven Rentenanspruchs - aus dem fehlenden Hinweis des kantonalen Gerichts auf eine reformatio in peius und aus dem Umstand, dass dem Beschwerdeführer damals keine Möglichkeit eingeräumt wurde, die Beschwerde zurückzuziehen, nichts abgeleitet werden.
5.2.2.2. Die Vorinstanz äusserte sich damals zwar nicht abschliessend über den Anspruch auf eine (Teil-) Rente, liess allerdings in den Erwägungen, wie bereits ausgeführt (E. 5.2.1 hiervor), durchscheinen, dass die weiteren Abklärungen zu einem - im Vergleich zum verfügungsweise Zugesprochenen - höheren Rentenanspruch führen könnten (was bei einem klareren Zugeständnis auch nach der neuen Rechtsprechung die Androhung einer reformatio in peius obsolet gemacht hätte: E. 5.2.2.1 hiervor). Die IV-Stelle musste bei dieser Sachlage jedenfalls nicht von einer künftigen, teilweisen Aufhebung der bereits zugesprochenen Rente ausgehen. Dabei wird nicht verkannt, dass die Rente insgesamt (Umfang des Anspruchs, Beginn, Dauer und Höhe der Leistung) Streitgegenstand des erstinstanzlichen Beschwerdeverfahrens bildete und der Anspruch auf eine Invalidenrente - aus der Sicht des Beschwerdeführers - erst mit Eintritt der Rechtskraft als erworben gelten konnte (<ref-ruling> E. 2.2.2 S. 317; <ref-ruling> E. 2d S. 417 f.).
5.2.2.3. Soweit die Vorinstanz bei dieser Ausgangslage annimmt, im Zeitpunkt der Rückweisung an die IV-Stelle sei der Rentenanspruch aufgrund der ungenügenden medizinischen Abklärungen noch nicht festgestanden und dementsprechend sei auch noch nicht klar gewesen, ob und insbesondere in welchem Umfang ein Rückforderungsanspruch bestehe, lässt sich darin keine offensichtlich unrichtige Würdigung des Sachverhalts erkennen. Auch wenn somit die Ausrichtung der Rente an sich - trotz fehlender rechtsbeständiger Verfügung - als "erster Fehler" zu gelten hat (Urteil 9C_877/2010 vom 28. März 2011 E. 4.2.2), so musste die IV-Stelle im Zeitpunkt des Rückweisungsentscheids zwar mit der Möglichkeit rechnen, dass sich, je nach Ausgang der fachärztlichen Abklärungen, eine Änderung in Bezug auf den Rentenanspruch an sich oder dessen Höhe ergeben könnte, eine Kenntnis im Sinne von Art. 25 Abs. 2 ATSG bestand jedoch noch nicht. Der Rentenanspruch blieb grundsätzlich und auch in seiner Höhe bis zum Vorliegen des Gutachtens des Instituts X._ vom 11. November 2010 in der Schwebe. Waren der Renten- und damit auch der Rückforderungsanspruch demzufolge vor dem 11. November 2010 noch nicht bestimmbar, so kann dem Zeitpunkt des Rückweisungsentscheids keine fristauslösende Wirkung beigemessen werden. Die Rückforderungsverfügung vom 21. April 2011 erging deshalb rechtzeitig innert der einjährigen Verwirkungsfrist nach Art. 25 Abs. 2 ATSG. Die Einhaltung der fünfjährigen, absoluten Verwirkungsfrist wird letztinstanzlich nicht mehr in Frage gestellt.
5.2.2.4. Wie die vorliegende Konstellation zeigt, kann der Zeitpunkt des kantonalgerichtlichen Rückweisungsentscheids nicht generell als massgebend für den Lauf der einjährigen Verwirkungsfrist gelten. Massgebend sind stets die jeweiligen Umstände im Einzelfall. Deshalb kann der Versicherte aus dem Urteil 9C_877/2010 vom 28. März 2011 nichts zu seinen Gunsten ableiten.
6.
Auf die Erhebung von Gerichtskosten wird umständehalber verzichtet (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Obwalden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Februar 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Berger Götz