Sachverhalt:
A. Der 1987 geborene D._, angelernter Storenmonteur, zuletzt arbeitslos, wurde am 5. Juni 2005 zusammen mit dem Fahrer des Personenwagens, in welchem er mitfuhr, von einer Sondereinheit der Polizei irrtümlicherweise verhaftet. Er zog sich dabei Verletzungen zu, welche im Spital behandelt wurden. Im Juni 2006 meldete sich D._ bei der Invalidenversicherung zum Rentenbezug an. Er gab an, wegen nach dem Polizeieinsatz aufgetretenen psychischen Beschwerden andauernd voll arbeitsunfähig zu sein. Die IV-Stelle zog die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) bei, welcher das Ereignis vom 5. Juni 2005 als Unfall gemeldet worden war. Sie holte sodann, nebst weiteren Abklärungen, Berichte der behandelnden Ärzte und ein psychiatrisches Gutachten des Dr. med. F._, Institut Z._, vom 26. Februar 2009 ein. Sodann sah sich die Verwaltung veranlasst, den Versicherten observieren zu lassen, worüber ihr am 9. Oktober und 7. Dezember 2009 sowie 17. Februar und 15. April 2010 Bericht erstattet wurde. Aufgrund der Observationsergebnisse reichte die IV-Stelle am 30. April 2010 Strafklage wegen Verdachts auf Betrug und auf Verletzung von sozialversicherungsrechtlichen Vorschriften gegen den Versicherten ein. Sodann verneinte sie mit Verfügung vom 9. Juli 2010 einen Rentenanspruch mit der Begründung, es habe nie eine Invalidität bestanden.
B. Hiegegen erhob D._ Beschwerde an das Verwaltungsgericht des Kantons Schwyz. Dieses holte ergänzende Stellungnahmen des Dr. med. F._ vom 31. Januar und 7. Februar 2011 ein. Sodann sistierte es das Verfahren, bis das von der SUVA in Auftrag gegebene psychiatrische Gutachten der Frau Prof. Dr. med. E._, Chefärztin Forensisch-Psychiatrischer Dienst, Spital X._, vom 23. Februar 2012 vorlag. Mit Entscheid vom 1. Mai 2012 wies das Gericht die Beschwerde ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und die IV-Stelle zu verpflichten, ihm mit Wirkung ab 5. Juni 2005 eine Invalidenrente nach IVG auszurichten; eventuell sei die Sache zur Einholung einer medizinischen Expertise an das kantonale Gericht zurückzuweisen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. Zur unaufgefordert eingereichten Stellungnahme der Vorinstanz hat sich D._ mit Eingabe vom 29. November 2012 vernehmen lassen.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Trotzdem obliegt es der Beschwerde führenden Partei, sich in ihrer Beschwerde sachbezogen mit den Darlegungen im angefochtenen Entscheid auseinanderzusetzen (Art. 42 Abs. 1 und 2 BGG). Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; vgl. auch BGE 137 III 580 E. 1.3 S. 584; je mit Hinweisen).
2. Das kantonale Gericht hat die Rechtsgrundlagen für den streitigen Anspruch auf eine Invalidenrente der Invalidenversicherung zutreffen dargelegt. Darauf wird verwiesen.
3. Umstritten ist, ob eine posttraumatische Belastungsstörung (PTBS) mit invalidisierender Wirkung vorliegt.
Die Vorinstanz ist zum Ergebnis gelangt, soweit eine PTBS vorgelegen habe, sei diese als überwindbar und daher nicht als invalidisierend zu betrachten. Das schliesse einen Rentenanspruch aus.
4. In der Beschwerde wird in grundsätzlicher Hinsicht eingewendet, das kantonale Gericht sei zu Unrecht davon ausgegangen, die Grundsätze zur Überwindbarkeit eines Leidens gemäss der sog. Schmerzstörungspraxis nach BGE 130 V 352 seien auch auf eine PTBS anwendbar.
4.1 Nach der besagten Praxis besteht eine Vermutung, dass eine diagnostizierte anhaltende Schmerzstörung oder ihre Folgen mit einer zumutbaren Willensanstrengung überwindbar sind. Nur unter bestimmten Voraussetzungen ist anzunehmen, dass dies nicht zutrifft und die Schmerzstörung dadurch ausnahmsweise invalidisierende Wirkung erlangen kann (BGE 131 V 49; 130 V 352).
Der Beschwerdeführer macht geltend, die PTBS gehöre nicht zu den Schmerzstörungen. Die Schmerzstörungspraxis sei daher nicht anwendbar.
4.2 Zu den geistigen Gesundheitsschäden, welche in gleicher Weise wie die körperlichen eine Invalidität zu bewirken vermögen, gehören neben den eigentlichen Geisteskrankheiten auch seelische Abwegigkeiten mit Krankheitswert. Nicht als Auswirkungen einer krankhaften seelischen Verfassung und damit invalidenversicherungsrechtlich nicht als relevant gelten Beeinträchtigungen der Erwerbsfähigkeit, welche die versicherte Person bei Aufbietung allen guten Willens, Arbeit in ausreichendem Masse zu verrichten, zu vermeiden vermöchte, wobei das Mass des Forderbaren weitgehend objektiv bestimmt werden muss (BGE 130 V 352 E. 2.2.1 S. 353 mit Hinweisen). In BGE 130 V 352 wurde im Bereich der somatoformen Schmerzstörungen erkannt, dass die Überwindbarkeit des Leidens nur ausnahmsweise, unter bestimmten Voraussetzungen, zu verneinen sei. Diese Grundsätze wurden seither bei verschiedenen anderen psychischen Störungen für anwendbar erklärt, so u.a. in Bezug auf Fibromyalgie, Chronic Fatigue Syndrome oder Neurasthenie, dissoziative Sensibilitäts- und Empfindungsstörung, dissoziative Bewegungsstörung (vgl. Übersicht in BGE 136 V 279 E. 3.2.1 S. 282 mit Hinweisen) sowie, in einer generellen Weise, bei sämtlichen pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage (BGE 136 V 279 E. 3.2.3 S. 283). Mehrfach erfolgte dies sodann auch konkret in Bezug auf PTBS (Urteile 9C_209/2011 vom 27. Mai 2011 E. 3.2; 9C_554/2009 vom 18. August 2009 E. 7; I 203/06 vom 28. Dezember 2006 E. 4.5 und I 696/05 vom 20. April 2006 E. 3.1 und 3.2.2). Es besteht kein Anlass, davon abzuweichen.
4.3 Nach dem Gesagten kann auch eine PTBS nur dann invalidisierend wirken, wenn ihre Auswirkungen nicht mit zumutbarer Willensanstrengung überwindbar sind. Der Einwand des Beschwerdeführers ist daher unbegründet.
5. Der Versicherte macht weiter geltend, die bei ihm diagnostizierte PTBS sei entgegen dem angefochtenen Entscheid nicht überwindbar.
Das kantonale Gericht hat erkannt, dass zwar von ärztlicher Seite wiederholt eine PTBS diagnostiziert und dieser eine einschränkende Auswirkung auf die Arbeitsfähigkeit zuerkannt worden sei. Eine mit zumutbarerweise nicht überwindbare PTBS liege aber bei genauer Betrachtung nicht vor und habe auch nie vorgelegen.
5.1 Die vorinstanzliche Beurteilung beruht zunächst auf der psychiatrischen Expertise der Frau Prof. Dr. med. E._ vom 23. Februar 2012. Die Gutachterin ist darin zum Ergebnis gelangt, im Begutachtungszeitpunkt habe keine psychiatrische Diagnose nach ICD-10/DSM-IV gestellt werden können. Diese fachärztliche Feststellung wird in der Beschwerde nicht in Frage gestellt. Damit ist für den Begutachtungszeitpunkt ein invalidisierendes psychisches Leiden ohne Weiteres zu verneinen.
5.2 Die Einwände des Versicherten richten sich gegen die vorinstanzliche Beurteilung, wonach bereits vor der Begutachtung durch Frau Prof. Dr. med. E._ keine nicht überwindbare PTBS vorgelegen habe.
5.2.1 Das kantonale Gericht hat hiebei namentlich auch das vom Versicherten im Alltag gezeigte Verhalten berücksichtigt. Hervorzuheben ist, dass dieser, wie die in den Jahren 2009 und 2010 durchgeführte Observation zweifelsfrei ergeben hat, sich ohne erkennbare Beeinträchtigung zur Tages- und Nachtzeit ausser Hause bewegen und verschiedenste Aktivitäten ausüben kann, u.a. Autofahren und verschiedene Sportarten. Er ist zudem offensichtlich problemlos in der Lage, in kommunikativer und gut gelaunter Weise auch ausserhäuslich soziale Kontakte zu unterhalten. Weiter wurde er dabei beobachtet, wie er ohne Anzeichen für eine gesundheitsbedingte Einschränkung Schnee schaufelte und bei einem Anlass mehrere Stunden als Kellner arbeitete. Dabei zeigte er namentlich auch keine Scheu, sich unter Leuten aufzuhalten und mit diesen zu interagieren, und zwar selbst in einem vollen Saal. Das lässt sich nicht in Übereinstimmung bringen mit den vom Versicherten geschilderten Ängsten und Kontaktschwierigkeiten, welche der Diagnose der PTBS und der darauf basierenden Annahme einer Arbeitsunfähigkeit zugrunde lagen. Zu diesem Ergebnis gelangten nach Einsicht in die Observationsunterlagen u.a. auch die RAD-Psychiater Dres. med. B._ und M._ im Konsilium vom 21. April 2010. Eine invalidisierende PTBS ist daher jedenfalls bereits ab Beginn der Observation im Jahr 2009 zu verneinen. Dem widerspricht die Stellungnahme des Dr. med. F._ vom 31. Januar 2011 nicht, zumal der Psychiater darin entgegen der vom Versicherten vertretenen Auffassung für den Zeitraum ab der Observation nicht an seiner früheren Diagnose einer PTBS mit daraus folgender Einschränkung der Arbeitsfähigkeit festgehalten hat.
5.2.2 Das kantonale Gericht hat eine nicht überwindbare PTBS auch für die Zeit davor, zwischen dem Ereignis vom Juni 2005 und der Observation, verneint.
Diese Beurteilung beruht auf einer nicht zu beanstandenden einlässlichen Würdigung der Sach- und Rechtslage. Danach trug zu den ärztlichen Bestätigungen einer die Arbeitsfähigkeit einschränkenden PTBS ganz wesentlich bei, dass der Versicherte Symptome angab, welche nicht mit dem von ihm im Alltag gezeigten Verhalten korrelierten. Es handelt sich dabei um Verhaltensweisen, welche eindeutig darauf schliessen lassen, dass die behaupteten Ängste und Probleme im Umgang mit anderen Personen, insbesondere ausserhäuslich, bereits im damaligen Zeitraum überwindbar waren oder auch gar nicht bestanden. Das kantonale Gericht erwähnt etwa, dass der Versicherte trotz Symptomangabe in der Lage war, bereits vier Tage nach dem Polizeieinsatz, noch im Spital, Interviews an Zeitungsjournalisten zu geben, was auch dem Spitalpersonal auffiel. Sodann hat er schon kurz nach dem Polizeieinsatz am 7. September 2005 (im ersten Anlauf) die theoretische und am 25. November 2005 (im zweiten Anlauf nach einem erfolglosen ersten Versuch am 18. Oktober 2005) die praktische Autofahrprüfung bestanden.
Der Beschwerdeführer wendet ein, das kantonale Gericht habe dem Aspekt des Führerausweiserwerbs zu hohes Gewicht beigemessen. Der Einwand ist unbegründet, zumal die Vorinstanz mit überzeugender Begründung nicht nur den Erwerb des Führerausweises, sondern insbesondere auch die Begleitumstände gewürdigt hat. Hervorgehoben wird zunächst, dass der Versicherte am 6. September 2005 gegenüber dem Hausarzt angegeben hatte, er erlebe die durchgemachte Gewalteinwirkung nachts in Träumen und tagsüber in einschiessenden Bildern und getraue sich nur mit grosser Angst auf die Strasse. Gleich anderntags absolvierte er dann aber die theoretische und einige Wochen danach, in zwei Anläufen, die praktische Autofahrprüfung. Das lässt sich nicht mit den dem Hausarzt geschilderten Ängsten vereinbaren. Gemäss Bericht der Fachstelle für Sozialpsychiatrie und Psychotherapie Y._ vom 20. September 2005 hat der Beschwerdeführer sodann angegeben, er könne den während des Gesprächs vom angrenzenden Schulhausplatz durchs offene Fenster kommenden Lärm nicht aushalten. Weiter hat er sich am 7. Oktober 2005 gegenüber einem SUVA-Mitarbeiter dahin gehend geäussert, sein Gesundheitszustand sei derart schlecht, dass er täglich 15 Tabletten und die ständige Nähe seines Vaters brauche. Diese Angaben lassen sich, wie die Vorinstanz zutreffend erwogen hat, nicht vereinbaren damit, dass der Versicherte im fraglichen Zeitraum in der Lage war, 13 Autofahrstunden mit dem im Strassenverkehr üblichen Geräuschpegel zu absolvieren und am 18. Oktober 2005, nur 11 Tage nach der Unterredung mit dem SUVA-Mitarbeiter, zum ersten Mal zur praktischen Fahrprüfung anzutreten. Dass dieser Versuch gescheitert ist, lag im Übrigen unbestrittenermassen nicht an gesundheitlichen Problemen. Das kantonale Gericht erwähnt überdies, dass der Versicherte während eines Spitalaufenthaltes "scheinbar orientierungslos auf der Station umherirrte" (Spitalbericht vom 16. resp. 23. Februar 2006), aber gleich nach Beendigung der Hospitalisation am 19. Februar 2006 in der Lage war, beim Verkehrsamt den Verlust seines Führerausweises zu melden und die Ausstellung eines neuen zu beantragen. Dieser offensichtliche Widerspruch zwischen den gegenüber den Ärzten demonstrierten und dem im Alltag gezeigten Verhaltensweisen vermag die vorinstanzliche Beurteilung als weiteres Element zu stützen.
Aus dem Gesagten ergibt sich verlässlich, dass bereits in dieser früheren Phase keine unüberwindbaren Folgen des Polizeieinsatzes vorlagen und namentlich unzutreffende Angaben des Versicherten dazu beitrugen, dass ihm von ärztlicher Seite dennoch eine Arbeitsunfähigkeit bescheinigt wurde. Entgegen der in der Beschwerde vertretenen Auffassung rechtfertigen auch die Berichte Dr. med. F._ kein anderes Ergebnis, zumal dieser erst ab dem Jahr 2009 mit dem Fall befasst war und sich auch nicht zu den genannten Diskrepanzen äussert. Von der eventualiter beantragten weiteren medizinischen Abklärung ist mit dem kantonalen Gericht abzusehen. Diese lässt keinen entscheidrelevanten neuen Aufschluss erwarten, zumal es hier um eine mehrere Jahre zurückliegenden und daher gerade aus psychiatrischer Sicht besonders schwierig zu beurteilenden Zeitraum geht (vgl. Urteil 8C_427/2011 vom 15. September 2011 E. 4.2.4 mit Hinweisen). Auch der Einwand, das kantonale Gericht habe seinen Entscheid ungenügend begründet, geht fehl. Die vorinstanzlichen Erwägungen setzen sich in rechtsgenüglicher Weise mit den relevanten Gesichtspunkten auseinander. Die Beschwerde ist demnach abzuweisen.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Dezember 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz