Sachverhalt:
A.
Der 1967 geborene G._ bezog gestützt auf die Verfügungen der IV-Stelle Bern vom 20. März, 11. Mai, 14. Juli und 4. August 2009 ab 1. September 2007 eine ganze Rente (nebst Kinderrenten) der Invalidenversicherung. Im Rahmen eines im Januar 2010 eingeleiteten Rentenrevisionsverfahrens holte die Verwaltung ein psychiatrisches Gutachten des Dr. med. S._ vom 4. Oktober 2012 ein. Zudem liess sie, nebst weiteren Abklärungen, den Versicherten im Rahmen einer Beweissicherung vor Ort an mehreren Tagen überwachen, worüber ihr am 21. Januar 2013 Bericht erstattet wurde. Die IV-Stelle holte hiezu eine Stellungnahme des Experten Dr. med. S._ vom 7. Februar 2013 ein. Mit Verfügung vom 21. Juni 2013 hob sie die Invalidenrente rückwirkend per 31. Januar 2012 revisionsweise auf. Am 24. Juni 2013 verfügte sie die Abweisung des vom Versicherten gestellten Gesuchs um unentgeltliche Verbeiständung im Revisionsverfahren. Sodann forderte sie mit Verfügung vom 4. Juli 2013 von G._ die Rückerstattung der von 1. Februar 2012 bis 31. Mai 2013 ausgerichteten Rentenleistungen.
B.
G._ erhob gegen diese drei Verfügungen Beschwerde. Das Verwaltungsgericht des Kantons Bern gewährte ihm die unentgeltliche Rechtspflege für das kantonale Verfahren und wies die Beschwerde mit Entscheid vom 17. Dezember 2013 ab.
C.
G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, die Verwaltungsverfügungen vom 21. und 24. Juni sowie 4 Juli 2013 seien aufzuheben und es sei weiterhin eine ganze Invalidenrente zu gewähren; eventuell seien zusätzliche medizinische Abklärungen zu treffen und sei die Invalidität neu zu beurteilen. Zudem wird die Gewährung der unentgeltlichen Rechtspflege für das Verwaltungs- und für das letztinstanzliche Verfahren beantragt.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.; Urteil 2C_271/2013 vom 23. Dezember 2013 E. 1.2).
3.
Im angefochtenen Entscheid sind die namentlich interessierenden Bestimmungen und Grundsätze zu den Begriffen Invalidität und Erwerbsunfähigkeit, zum für einen Rentenanspruch mindestens erforderlichen Invaliditätsgrad von 40 %, zur revisionsweisen Erhöhung, Herabsetzung oder Aufhebung einer Rente infolge erheblicher Änderung des Invaliditätsgrades, zur zeitlichen Wirksamkeit einer solchen Revision, zur Schadenminderungspflicht der versicherten Person, zur Rückerstattung unrechtmässig bezogener Leistungen und zu den massgeblichen Beweisregeln, insbesondere im Hinblick auf ärztliche Berichte und Gutachten und auf Beweissicherungen vor Ort durch Überwachung zutreffend dargelegt. Darauf wird verwiesen.
3.1. Das kantonale Gericht hat erkannt, die Rentenzusprechung mit Verfügungen vom 20. März, 11. Mai, 14. Juli und 4. August 2009 sei wegen einer psychisch bedingten Arbeitsunfähigkeit erfolgt. Es ist sodann zum Ergebnis gelangt, infolge einer seit Erlass dieser Verfügungen eingetretenen gesundheitlichen Besserung bestehe nunmehr eine uneingeschränkte Arbeitsfähigkeit. Damit liege keine Invalidität mehr vor, was zur revisionsweisen Aufhebung der seit 2007 bezogenen Invalidenrente führe. Die Verwaltung habe sodann zu Recht mit der Begründung, der Versicherte habe unrechtmässig Versicherungsleistungen erwirkt und die Meldepflicht verletzt, die Rentenaufhebung rückwirkend auf den 31. Januar 2012 verfügt und die danach noch entrichteten Rentenleistungen zurückverlangt.
3.2. Die vorinstanzliche Beurteilung beruht auf einer einlässlichen Würdigung der Sach- und Rechtslage. Das kantonale Gericht hat dabei namentlich auch eingehend dargelegt, weshalb es bezüglich Gesundheitszustand und Arbeitsfähigkeit massgeblich auf das psychiatrische Gutachten des Dr. med. S._ vom 4. Oktober 2012 (mit Ergänzung vom 7. Februar 2013) abstellt.
Der Versicherte beschränkt sich in der Beschwerde weitestgehend auf eine wortwörtliche Wiederholung seiner Vorbringen vor der Vorinstanz, ohne sich mit den Erwägungen im angefochtenen Entscheid auseinanderzusetzen. Das stellt sogar in Frage, ob die Beschwerde überhaupt den gesetzlichen Begründungsanforderungen gemäss Art. 42 Abs. 1 und 2 BGG zu genügen vermag (vgl. <ref-ruling> E. 2.1 S. 245 f. und E. 2.3 S. 246 f.; Urteile 2C_271/2013 E. 3.3.4 und 8C_763/2012 vom 7. Januar 2013 E. 2; E. 2 hievor).
Selbst wenn dies gesamthaft noch knapp bejaht wird, ist jedenfalls festzustellen, dass die Vorbringen, mit welchen sich der Beschwerdeführer überhaupt zu den vorinstanzlichen Erwägungen äussert, nicht geeignet sind, den vorinstanzlichen Entscheid in Frage zu stellen. Ein erster Einwand geht zumindest sinngemäss dahin, für die Observation habe kein Grund bestanden. Hiezu hat das kantonale Gericht in nicht offensichtlich unrichtiger Weise erkannt, dass Anhaltspunkte bestanden haben, welche eine solche Beweismassnahme als objektiv angezeigt erscheinen liessen. Entgegen der in der Beschwerde weiter vertretenen Auffassung ist auch das vorinstanzliche Abstellen auf die fachärztliche Einschätzung des Dr. med. S._ im Gutachten vom 4. Oktober 2012 und in der Ergänzung vom 7. Februar 2013 rechtmässig. Gleiches gilt für den Verzicht auf weitere Beweismassnahmen. Daran vermag der Hinweis des Versicherten auf eigene Ausführungen nichts zu ändern. Diese sind nicht geeignet, Zweifel an der vorinstanzlichen Beurteilung zu begründen. Der vorinstanzliche Entscheid setzt sich auch genügend mit diesen Ausführungen auseinander. Die weiteren, allgemein gehaltenen und nicht begründeten Rügen der fehlenden Nachvollziehbarkeit sowie der Willkür des angefochtenen Entscheids rechtfertigen ebenfalls keine andere Betrachtungsweise. Es bleibt daher hinsichtlich der revisionsweisen Aufhebung der Rente und der Pflicht zur Rückerstattung erbrachter Rentenleistungen beim angefochtenen Entscheid.
4.
Das kantonale Gericht ist nach zutreffender Darlegung der massgeblichen Rechtsgrundlagen zum Ergebnis gelangt, die IV-Stelle habe mit Verfügung vom 24. Juni 2013 die Gewährung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren zu Recht verweigert, da es an der Erforderlichkeit der anwaltlichen Vertretung gemangelt habe.
Auch hier beschränkt sich der Beschwerdeführer fast ausschliesslich auf eine Wiederholung seiner vorinstanzlichen Vorbringen. Soweit er sich überhaupt zum angefochtenen Entscheid äussert, erfolgt dies in Form einer allgemein gehaltenen Aussage dazu, welche Auswirkungen die Gewährung der unentgeltlichen Verbeiständung auf andere Fälle hätte resp. eben nicht hätte. Der einlässlich und überzeugend begründete Entscheid des kantonalen Gerichts wird damit nicht in Frage gestellt. Er ist somit auch diesbezüglich rechtens.
5.
Die offensichtlich unbegründete Beschwerde ist im Verfahren nach <ref-law> abzuweisen.
6.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>). Die unentgeltliche Rechtspflege kann infolge Aussichtslosigkeit der Beschwerde nicht gewährt werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. April 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz