Sachverhalt:
A.
A.a. A._ meldete sich im August 2006 unter Hinweis auf ein Burnout und Depressionen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Appenzell Ausserrhoden gewährte berufliche Massnahmen. Im Rahmen ihrer Abklärungen liess sie den Versicherten sodann observieren und holte nebst weiteren Arztberichten ein psychiatrisches Gutachten des Dr. med. B._ vom 24. April 2013 ein. Gestützt auf dessen Empfehlung ordnete sie am 1. Juli 2013 an, A._ habe sich einer dreimonatigen stationären Therapie in einer psychiatrischen Klinik zu unterziehen. Mit Verfügung vom 26. August 2014 verneinte die IV-Stelle einen Anspruch auf weitere Leistungen, insbesondere auf eine Invalidenrente, mit der Begründung, A._ sei dieser - mehrfach angemahnten - Anordnung nicht gefolgt und habe damit seine Schadenminderungspflicht verletzt. A._ erhob hiegegen Beschwerde beim Obergericht Appenzell Ausserrhoden, das mit Entscheid vom 18. November 2015 diese teilweise guthiess. Es wies die Sache zur ergänzenden Abklärung hinsichtlich der Frage einer befristeten Rente im Zeitraum zwischen Abschluss der beruflichen Eingliederungsbemühungen (16. November 2010) und formellem Hinweis auf die Mitwirkungspflicht (25. September 2013) mit anschliessender Neuentscheidung an die Verwaltung zurück. Vorgängig wies das kantonale Gericht mit Zwischenentscheid vom 11. November 2014 das Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit ab. A._ führte hiergegen Beschwerde in öffentlich-rechtlichen Angelegenheiten und das Bundesgericht stellte mit Urteil 8C_89/2015 vom 22. April 2015 seinen Anspruch auf unentgeltliche Rechtspflege im kantonalen Verfahren fest.
A.b. Nach Einholung einer weiteren Stellungnahme der Frau Dr. med. C._, Fachärztin für Psychiatrie und Psychotherapie, Regionaler Ärztlicher Dienst (RAD) der IV-Stelle, vom 27. Mai 2016 verneinte die Verwaltung mit Verfügung vom 26. September 2016 erneut einen Rentenanspruch.
B.
Die dagegen erhobene Beschwerde wies das Obergericht Appenzell Ausserrhoden mit Entscheid vom 21. März 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, ihm eine Dreiviertelsrente für die Zeit vom 16. November 2010 bis 24. April 2013 zuzusprechen. Eventualiter sei die Sache zur nochmaligen Abklärung an die Vorinstanz zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie für die Zeit vom 16. November 2010 bis 24. April 2013 den Anspruch auf eine befristete Rente verneinte.
2.2. Die Vorinstanz stellte fest, mit Blick auf die gesamte Aktenlage liege kein psychisches Leiden erheblichen funktionellen Schweregrads vor. Sie mass dabei dem Gutachten des Dr. med. B._ keine Beweiskraft zu, nachdem sich dieser nicht abschliessend zur Frage der Arbeitsfähigkeit geäussert und eine schlüssige Aussage hierzu von einer stationären Behandlung des Versicherten abhängig gemacht habe.
2.3. Beschwerdeweise wird - wie vor kantonaler Instanz - hauptsächlich eingewendet, aus dem psychiatrischen Gutachten des Dr. med. B._ ergebe sich eine 50%-ige Arbeitsunfähigkeit wegen einer mittelgradigen Panikstörung, während die rezidivierende depressive Störung gegenwärtig mit leichten- bis mittelschweren Episoden, derzeit remittiert, keinen Einfluss auf die Arbeitsfähigkeit habe. Daraus resultiere nach durchgeführtem Einkommensvergleich ein Anspruch auf eine Dreiviertelsrente für die Zeit vom 16. November 2010 bis 24. April 2013.
3.
3.1. Der Beschwerdeführer macht geltend, es sei auf das Gutachten vom 24. April 2013 abzustellen, ohne aber dabei darzulegen, weshalb die Beweiswürdigung der Vorinstanz offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein soll. Das kantonale Gericht stellte in nicht willkürlicher Weise und daher verbindlich fest, bereits die Stellungnahme der RAD-Psychiaterin Dr. med. C._ vom 6. Dezember 2012 zeige überzeugend auf, dass die von den behandelnden Ärzten gestellten psychiatrischen Diagnosen eines klinisch relevanten, ausgeprägten Angstsyndroms mit Panikattacken sowie Depressionen nicht nachvollziehbar seien und hauptsächlich auf den subjektiven Angaben des Versicherten beruhen würden (Berichte des Psychiatrischen Zentrums D._ vom 7. Februar 2012 und des Dr. med. E._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 19. April 2012). Die RAD-Psychiaterin sei in ihrer Stellungnahme vom 12. Mai 2016 von einem unauffälligen Psychostatus ausgegangen und habe auf inkonsistente Angaben hinsichtlich der geltend gemachten Einschränkungen im Alltag hingewiesen. Weiter stellte die Vorinstanz fest, dass die in den Jahren 2011 (Bericht vom 8. November 2011) und 2013 (Bericht vom 25. Januar 2013) erfolgten Observationen einen ausgeglichenen und unauffälligen Versicherten zeigten (zur Verwertbarkeit der Observationsergebnisse: BGE 143 I 377). Er sei bei Gartenarbeiten, bei einer Wanderung, aber auch zusammen mit anderen Menschen gesehen worden, dabei habe zu keinem Zeitpunkt ein Unwohlsein des Versicherten beobachtet werden können. Zudem sei er der Empfehlung des Gutachters Dr. med. B._ eine dreimonatige stationären Therapie zu absolvieren, nicht nachgekommen. Der Experte sei davon ausgegangen, dass nur im Rahmen einer stationären Therapie überhaupt eruiert werden könne, ob beim Versicherten ein Gesundheitsdefizit vorliege, und erst gestützt darauf eine abschliessende Einschätzung der Arbeitsfähigkeit möglich sei. Die stete Weigerung des Versicherten, Medikamente einzunehmen oder eine stationäre Therapie anzutreten, lasse auf einen fehlenden Leidensdruck schliessen.
Die Inkonsistenzen zwischen den geltend gemachten massiven Leistungseinschränkungen und der mangelnden Bereitschaft, sich zumindest einer zumutbaren Psychopharmakotherapie zu unterziehen, konnte die Vorinstanz zusammen mit dem dokumentierten Aktivitätsverhalten als Indiz dafür werten, dass die Beeinträchtigungen anders zu begründen sind als durch eine versicherte Gesundheitsschädigung. Auch die von der RAD-Ärztin aufgeführten Ressourcen des Versicherten, wie soziale Kompetenzen, körperliche Gesundheit und Kreativität, sprechen gegen eine relevante Erkrankung (Bericht vom 30. April 2013). Das Gericht durfte in diesem Kontext die Beurteilung der RAD-Ärztin vom 27. Mai 2016, die auch auf ihren Erkenntnissen aus einem am 28. November 2012 mit dem Versicherten geführten Evaluationsgespräch und aus telefonischen Kontakten mit verschiedenen involvierten Ärzten basierte, in Kenntnis der Observationsberichte vom 8. Dezember 2011 und 25. Januar 2013 sowie der weiteren medizinischen Akten erging, als überzeugend qualifizieren. Hinsichtlich des Gesundheitszustands und dessen Auswirkungen auf die Arbeitsfähigkeit ging die Vorinstanz nach einer nicht zu beanstandenden Gesamtwürdigung der Aktenlage demnach willkürfrei davon aus, dass in der hier interessierenden Zeitspanne kein invalidenversicherungsrechtlich relevanter psychischer Gesundheitsschaden ausgewiesen ist. Es ist nicht zu beanstanden, wenn das kantonale Gericht der vom Gutachter nicht abschliessend beurteilten Arbeitsunfähigkeit nicht gefolgt ist. Nachdem einzig der Gesundheitszustand im Zeitraum vom 16. November 2010 bis 24. April 2013 umstritten ist und anschliessend keine die Arbeitsfähigkeit erheblich einschränkende Beschwerden mehr aktenkundig sind und auch nicht geltend gemacht werden sowie echtzeitliche beweiskräftige fachärztliche Einschätzungen über eine psychisch bedingte Arbeitsunfähigkeit nach dem Gesagten fehlen, konnte das kantonale Gericht von weiteren Abklärungen hierzu im Sinne des gestellten Eventualantrags ohne Verletzung des Untersuchungsgrundsatzes verzichten. Der Beschwerdeführer legt denn auch nicht dar, inwieweit angesichts der zeitlichen Distanz zur umstrittenen Arbeitsfähigkeit im interessierenden Zeitraum und den damit zusammenhängenden Schwierigkeiten retrospektiver Beurteilungen (Urteil 8C_810/2010 vom 16. September 2011) von weiteren Beweisvorkehren neue zuverlässige Erkenntnisse für die Feststellung der behaupteten psychisch bedingten Funktionsausfälle gewonnen werden könnten.
Weiter erübrigt sich ein strukturiertes Beweisverfahren nach BGE 141 V 281, da vorliegend ein krankheitswertiger Gesundheitsschaden mit Auswirkung auf die Arbeitsfähigkeit nicht schlüssig erstellt ist. Denn aus Gründen der Verhältnismässigkeit kann dort von einem strukturierten Beweisverfahren abgesehen werden, wo es nicht nötig oder auch gar nicht geeignet ist (BGE 143 V 418 E. 7.1 S. 427 f.; 9C_337/2017 E. 3.4 vom 27. Oktober 2017; 9C_648/2017 E. 3.2.3.2 vom 20. November 2017). Damit hat es mit der vorinstanzlichen Feststellung sein Bewenden, dass keine relevante Leistungseinschränkung in der geltend gemachten Zeitspanne ausgewiesen ist.
3.2. Weiterungen zu den erweblichen Auswirkungen des behaupteten Gesundheitsschadens erübrigen sich schliesslich unter diesen Umständen.
4.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 Satz 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege (Art. 64 Abs. 1 und 2 BGG) kann jedoch entsprochen werden. Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Bettina Surber wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Obergericht Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. März 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla