Sachverhalt:
A.
Der 1958 geborene A._ bezieht gestützt auf die Verfügung der IV-Stelle des Kantons Zug vom 15. Juni 2009 seit 1. April 2007 bei einem Invaliditätsgrad von 55 % eine halbe Rente der Invalidenversicherung. Mit rechtskräftigen Verfügungen vom 17. November 2011 und 27. August 2014 wies die IV-Stelle Rentenerhöhungsgesuche des Versicherten ab. Auf ein erneutes solches Begehren vom März 2015 trat sie mit Verfügung vom 10. November 2015 nicht ein, da keine relevante Veränderung glaubhaft gemacht worden sei.
B.
Die von A._ gegen die Verfügung vom 10. November 2015 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 14. April 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, der vorinstanzliche Entscheid sei aufzuheben und die IV-Stelle sei zu verpflichten, auf das Leistungsbegehren vom März 2015 einzutreten und die notwendigen Abklärungen zu treffen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280; vgl. auch BGE 141 V 234 E. 1 S. 236; 140 V 136 E. 1.1 S. 137 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
Streitig und zu prüfen ist, ob die Verwaltung zu Recht auf das Rentenerhöhungsgesuch des Versicherten nicht eingetreten ist.
Die Rechtsgrundlagen für die Beurteilung der Streitsache sind im angefochtenen Entscheid, auf den verwiesen wird, zutreffend dargelegt. Das gilt namentlich für die Bestimmungen und Grundsätze zur revisionsweisen Erhöhung einer Invalidenrente bei erheblicher Änderung des Invaliditätsgrades und zur Regelung, wonach diese Änderung von der die Rentenerhöhung beantragenden versicherten Person glaubhaft machen ist, ansonsten auf ihr Gesuch nicht eingetreten wird.
3.
Die Vorinstanz hat erwogen, der Versicherte hätte glaubhaft machen müssen, dass sich der Invaliditätsgrad in massgeblichen Zeitraum zwischen dem Erlass der Verfügung vom 27. August 2014 und dem Erlass der Verfügung vom 10. November 2015 erheblich geändert habe. Da die frühere Verfügung nur kurze Zeit zurückliege, seien rechtsprechungsgemäss an das Glaubhaftmachen höhere Anforderungen zu stellen. Der Beschwerdeführer mache eine gesundheitliche Verschlechterung geltend. Nach Lage der Akten leide er aber im Wesentlichen an den gleichen Gesundheitsstörungen wie im Zeitpunkt der Verfügung vom 27. August 2014. Dass die psychischen und/oder physischen Beschwerden in ihrer Intensität derart zugenommen hätten, dass daraus eine weitergehende Einschränkung resultiere, sei nicht glaubhaft. Die IV-Stelle sei daher zu Recht auf das Revisionsgesuch nicht eingetreten.
3.1. Der Versicherte bringt hauptsächlich vor, den massgeblichen ersten Vergleichszeitpunkt bestimme nicht der Erlass der Verfügung vom 27. August 2014, sondern derjenige der Verfügung vom 17. November 2011. Die Vorinstanz sei daher zu Unrecht davon ausgegangen, infolge der kurzen Zeit seit der Verfügung vom 27. August 2014 seien höhere Anforderungen an das Glaubhaftmachen zu stellen. Damit habe sie rechtsfehlerhaft zu hohe Anforderungen an das Glaubhaftmachen gestellt.
Die Einwände sind nicht stichhaltig. Das kantonale Gericht hat in rechtskonformer Weise erkannt, dass die Verfügung vom 27. August 2014 auf einer umfassenden materiellen Prüfung des Rentenanspruchs beruhte und daher als zeitliche Vergleichsbasis für die Beurteilung einer anspruchsrelevanten Änderung des Invaliditätsgrades zu gelten hat (vgl. BGE 133 V 108 E. 5.4 S. 114). Was der Versicherte gegen die Verfügung vom 27. August 2014 vorbringt, hätte er damals auf dem Beschwerdeweg geltend machen müssen. Es ist überdies nicht nachvollziehbar, inwiefern ein Abstellen auf die Verfügung vom 17. November 2011 den Standpunkt des Versicherten besser zu stützen vermöchte. Unzutreffend ist sodann das Vorbringen, eine anspruchsbestätigende frühere Verfügung könne nicht als Vergleichsbasis dienen (vgl. BGE 133 V 108). Abgesehen davon war auch die Verfügung vom 17. November 2011 rentenbestätigend.
Nach dem Gesagten hat die Vorinstanz auch zu Recht auf einen nur kurzen Zeitraum zwischen den massgeblichen Verfügungen (von 2014 und 2015) geschlossen. Deshalb sind nach der Rechtsprechung höhere Anforderungen an die Glaubhaftmachung einer relevanten Änderung des Invaliditätsgrades zu stellen (vgl. SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 3.2; Urteile 9C_523/2014 vom 19. November 2014 E. 2 und 8C_531/2013 vom 10. Juni 2014 E. 4.1.2, je mit Hinweisen).
3.2. Die vorinstanzliche Beurteilung, wonach eine anspruchsrelevante gesundheitliche Verschlechterung nicht glaubhaft sei, beruht auf einer einlässlichen Würdigung der medizinischen Akten. Der Beschwerdeführer erhebt Einwände betreffend einzelne Arztberichte. Damit vermag er die vorinstanzliche Sachverhaltsfeststellung aber nicht als offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig erscheinen zu lassen. Das gilt auch, soweit der Beweiswert einzelner ärztlicher Stellungnahmen bestritten wird. Das kantonale Gericht hat die medizinischen Berichte in haltbarer Weise gewürdigt.
4.
Die offensichtlich unbegründete Beschwerde ist im Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG abzuweisen.
5.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Juni 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz