Sachverhalt: A. Der 1964 geborene A._, Geschäftsführer im eigenen Unternehmen, meldete sich im Oktober 2013 wegen einer psychischen Problematik zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Schwyz veranlasste nebst medizinischen Sachverhaltserhebungen eine Abklärung für Selbstständigerwerbende vor Ort, über welche am 11. Juni 2015 (mit Ergänzung vom 23. November 2015) Bericht erstattet wurde. Mit Verfügung vom 26. Januar 2016 verneinte sie einen Rentenanspruch, da der Invaliditätsgrad lediglich 21 % betrage. B. Beschwerdeweise beantragte A._, die Verfügung vom 26. Januar 2016 sei aufzuheben und die IV-Stelle sei anzuweisen, eine gesetzmässige Verfügung zu erlassen resp. neu zu erlassen; eventuell sei die Verwaltung zur Erbringung der gesetzlichen Leistungen zu verpflichten. Das Verwaltungsgericht des Kantons Schwyz wies die Beschwerde am 18. Mai 2016 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._ die Aufhebung des vorinstanzlichen Entscheides und erneuert seine vorinstanzlichen Rechtsbegehren. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.