Sachverhalt:
A.
Der 1964 geborene A._, Geschäftsführer im eigenen Unternehmen, meldete sich im Oktober 2013 wegen einer psychischen Problematik zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Schwyz veranlasste nebst medizinischen Sachverhaltserhebungen eine Abklärung für Selbstständigerwerbende vor Ort, über welche am 11. Juni 2015 (mit Ergänzung vom 23. November 2015) Bericht erstattet wurde. Mit Verfügung vom 26. Januar 2016 verneinte sie einen Rentenanspruch, da der Invaliditätsgrad lediglich 21 % betrage.
B.
Beschwerdeweise beantragte A._, die Verfügung vom 26. Januar 2016 sei aufzuheben und die IV-Stelle sei anzuweisen, eine gesetzmässige Verfügung zu erlassen resp. neu zu erlassen; eventuell sei die Verwaltung zur Erbringung der gesetzlichen Leistungen zu verpflichten. Das Verwaltungsgericht des Kantons Schwyz wies die Beschwerde am 18. Mai 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._ die Aufhebung des vorinstanzlichen Entscheides und erneuert seine vorinstanzlichen Rechtsbegehren.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1 S. 236; <ref-ruling> E. 1.1 S. 137 f.). Das Bundesgericht kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Im angefochtenen Entscheid sind die Rechtsgrundlagen für den streitigen Anspruch auf eine Invalidenrente der Invalidenversicherung zutreffend dargelegt. Darauf wird verwiesen.
3.
Das kantonale Gericht hat erkannt, die Verwaltungsverfügung vom 26. Januar 2016 weise keine formellen Mängel auf, welche sie als nichtig erscheinen liessen oder ihre Aufhebung rechtfertigten. Diese Beurteilung ist bundesrechtmässig. Die Vorbringen in der Beschwerde zu Begründung, bearbeitender Person und Unterschriftsregelung rechtfertigen keine andere Betrachtungsweise. Die Verfügung genügt den formalen Anforderungen, welche an derartige Verwaltungsakte gestellt werden. Abgesehen davon wäre ein allfälliger Mangel höchstens geringfügig und als im kantonalen Verfahren geheilt zu betrachten. Es trifft auch nicht zu, dass die diesbezüglichen Einwände des Versicherten von der Verwaltung oder Vorinstanz nicht ernst genommen resp. in ungenügender Weise behandelt wurden. Die Rüge einer Verletzung der Verfahrensfairness ist ebenfalls unbegründet.
4.
Die Vorinstanz hat sodann erwogen, gestützt auf die medizinischen Akten sei die Arbeitsfähigkeit grundsätzlich auf 50 % zu veranschlagen. Der Invaliditätsgrad sei aufgrund der gegebenen Verhältnisse nach der allgemeinen Methode des Einkommensvergleichs zu bestimmen. Das Valideneinkommen betrage Fr. 368'366.- und das Invalideneinkommen Fr. 291'538.-. Das ergebe einen invaliditätsbedingten Minderverdienst von Fr. 76'828.-, was einem Invaliditätsgrad von 21 % entspreche. Ein Rentenanspruch sei daher zu Recht verneint worden.
5.
Der Beschwerdeführer bestreitet die Feststellungen zur Arbeitsfähigkeit nicht substanziert. Zwar macht er geltend, es bestehe eine Arbeitsunfähigkeit von 75 %. Er führt aber anderseits aus, er könne unbestrittenermassen im eigenen Unternehmen einer zeitlich auf 50 % reduzierten angepassten Arbeit nachgehen. Seine Einwände betreffen denn auch nicht die medizinisch-theoretischen Aspekte. Geltend gemacht wird vielmehr, die Vorinstanz habe die erwerblichen Auswirkungen der gesundheitlichen Beeinträchtigung falsch bestimmt. Hiefür sei nicht ein Einkommensvergleich vorzunehmen, sondern die ausserordentliche Methode des Betätigungsvergleichs anzuwenden. Daraus ergebe sich eine Invalidität von 100 %.
6.
6.1. Hervorzuheben ist, dass die Invalidität bei Erwerbstätigen in erster Linie mittels der allgemeinen Methode des Einkommensvergleichs (<ref-law>) zu bestimmen ist. Erst wenn sich die beiden hypothetischen Erwerbseinkommen nicht zuverlässig ermitteln oder schätzen lassen, ist ein Betätigungsvergleich anzustellen und der Invaliditätsgrad nach Massgabe der erwerblichen Auswirkungen der verminderten Leistungsfähigkeit in der konkreten erwerblichen Situation zu bestimmen (ausserordentliches Bemessungsverfahren; vgl. <ref-ruling> E. 1 S. 30 f.; aus jüngster Zeit: Urteil 9C_812/2015 vom 7. Juli 2016 E. 4). Dass dieses Bemessungsverfahren namentlich bei Selbstständigerwerbenden zur Anwendung gelangt, schliesst entgegen der in der Beschwerde vertretenen Auffassung nicht aus, den Einkommensvergleich anzuwenden, wenn die Vergleichseinkommen bestimmbar sind.
6.2. Die Vorinstanz ist zum Ergebnis gelangt, dass sich die Einkommen mit und ohne Invalidität gestützt auf die Zahlen, die im Rahmen der Abklärung für Selbstständigerwerbende erhoben wurden, bestimmen lassen. Was der Beschwerdeführer vorbringt, lässt diese einlässlich begründete Beweiswürdigung nicht als offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig erscheinen. Der Abklärungsfachmann hat die massgeblichen Geschäftszahlen und betrieblichen Gegebenheiten, unter Einschluss invaliditätsfremder Faktoren und organisatorischer Anpassungen, sorgfältig erhoben und nachvollziehbar dargelegt. Es bestehen keine Mängel, welche den Beweiswert des Abklärungsberichts und seiner Ergänzung in Frage stellten könnten. Die Vorinstanz hat daher zu Recht darauf abgestellt. Entgegen der in der Beschwerde vertretenen Auffassung liegt auch nicht etwa "Vermögenseinkommen" (gemeint ist offenbar Vermögensertrag) statt Erwerbseinkommen vor. Erst recht trifft nicht zu, dass das kantonale Gericht Entsprechendes anerkannt hätte. Vielmehr nimmt der Beschwerdeführer gemäss der nicht offensichtlich unrichtigen Feststellung der Vorinstanz nach wie vor eine massgebliche Position in seinem Unternehmen ein (etwa mit Organstellung und alleiniger Einzelunterschrift). Dafür erzielt er auch weiterhin ein erhebliches Einkommen. Sein Einwand geht daher fehl. Das gilt auch für die in diesem Zusammenhang erhobene Rüge einer Verletzung von <ref-law>.
6.3. Was der Versicherte vorbringt, ist sodann weder im Einzelnen noch gesamthaft geeignet, die rechtliche Würdigung der Vorinstanz in Frage zu stellen. Diese ist von einem korrekten Verständnis des Begriffs der Erwerbsunfähigkeit und der verschiedenen Bemessungsmethoden ausgegangen. Die Ausführungen des Versicherten zu einer "Loslassproblematik" und zu Kausalitätsfragen vermögen keine Bundesrechtswidrigkeit darzutun. Gleiches gilt, soweit auf ärztliche Einschätzungen der Arbeitsfähigkeit und auf Ergebnisse einer Eingliederungsberatung/Frühintervention Bezug genommen wird. Eine bestimmte Einschränkung im funktionellen Leistungsvermögen einer erwerbstätigen Person kann zwar, braucht aber nicht notwendigerweise eine Erwerbseinbusse gleichen Umfangs zur Folge zu haben (vgl. <ref-ruling> E. 1 S. 31; erwähntes Urteil 9C_812/2015 E. 4). Dem wurde hier Rechnung getragen. Das kantonale Gericht verzichtete schliesslich zu Recht auf weitere Abklärungen, lassen solche doch keinen entscheidrelevanten neuen Aufschluss erwarten. Die Rüge der Beweisvereitelung ist unbegründet.
6.4. Die ermittelten Vergleichseinkommen sind im Übrigen rechnerisch nicht umstritten. Gleiches gilt für die vorinstanzliche Beurteilung, wonach sich aus dem Einkommensvergleich ein Invaliditätsgrad ergibt, der mit 21 % deutlich unter den für eine Invalidenrente mindestens erforderlichen 40 % (<ref-law>) liegt. Die Beschwerde ist daher abzuweisen.
7.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. September 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz