Sachverhalt:
A.
A.a. Der 1956 geborene, zuletzt bis Ende Oktober 2004 als Bauarbeiter tätig gewesene A._ meldete sich am 1. März 2006 wegen massiven degenerativen Veränderungen der Halswirbelsäule mit Diskopathien sowie psychischen Problemen und Schlafstörungen bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen Abklärungen, insbesondere einer interdisziplinären (rheumatologisch/psychiatrischen) Begutachtung, verneinte die IV-Stelle Zug mit Verfügung vom 25. Juni 2008 einen Anspruch auf Leistungen der Invalidenversicherung. Die dagegen erhobene Beschwerde wurde zufolge nicht fristgerechter Bezahlung des eingeforderten Kostenvorschusses vom Verwaltungsgericht des Kantons Zug als erledigt abgeschrieben (Verfügung vom 29. August 2008).
Am 11. Februar 2009 meldete sich A._ erneut bei der Invalidenversicherung zum Leistungsbezug an und machte eine erhebliche Verschlechterung des Gesundheitszustandes geltend. Die IV-Stelle trat auf die Neuanmeldung ein und liess den Versicherten durch die Medizinische Abklärungsstelle (MEDAS) psychiatrisch und rheumatologisch begutachten. Gestützt auf dieses MEDAS-Gutachten vom 3. Februar 2010 sowie auf die Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 11. Februar 2010 sprach sie dem Versicherten mit Verfügung vom 24. Juni 2010 ab 1. August 2009 bei einem Invaliditätsgrad von 52 % eine halbe Invalidenrente zu.
A.b. Mit Eingabe vom 8. Dezember 2010 ersuchte der Versicherte um "Revision seines Falles", da sich sein Gesundheitszustand seit 2009 verschlechtert habe. Die IV-Stelle holte erneut ein rheumatologisches/ psychiatrisches Gutachten bei der MEDAS ein, das am 2. Mai 2012 erstattet wurde. Gestützt auf dieses Gutachten wies die IV-Stelle nach Durchführung des Vorbescheidverfahrens und Einholen einer ergänzenden psychiatrischen Stellungnahme des med. pract. B._, FMH Psychiatrie und Psychotherapie, vom 28. Januar 2013 das Gesuch um Rentenerhöhung mit Verfügung vom 28. Februar 2013 ab.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug nach Beizug einer zusätzlichen Stellungnahme des Psychiaters med. pract. B._ vom 18. September 2013 mit Entscheid vom 24. Oktober 2013 ab.
C.
Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Gerichtsentscheides seien ihm höhere Rentenleistungen - mindestens eine Dreiviertelsrente - auszurichten. Ferner wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (<ref-ruling> E. 5.1 S. 232).
2.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht eine rentenerhöhende Verschlechterung der gesundheitlichen Situation im Zeitraum zwischen der Rentenverfügung vom 24. Juni 2010 und derjenigen vom 28. Februar 2013 verneinte.
Im angefochtenen Entscheid werden die zur Beurteilung der Streitsache massgebenden Rechtsgrundlagen zutreffend dargelegt. Dies betrifft insbesondere die Bestimmungen und Grundsätze über die Invalidität (<ref-law>), die Invaliditätsbemessung mittels Einkommensvergleich (<ref-law>), den Rentenanspruch (Art. 28 Abs. 1 und 2 IVG), die Revision der Invalidenrente (<ref-law>) sowie die Rechtsprechung zu den dabei zu vergleichenden Sachverhalten (<ref-ruling> E. 5.4 S. 114). Gleiches gilt in Bezug auf den Beweiswert und die Beweiswürdigung von medizinischen Berichten und Gutachten (<ref-ruling> E. 3 S. 352 ff., vgl. auch <ref-ruling> E. 5.1 S. 232). Darauf wird verwiesen.
3.
3.1. Nach umfassender Würdigung der medizinischen Akten gelangte die Vorinstanz zum Schluss, dass in medizinischer Hinsicht keine rentenerhebliche Veränderung der Verhältnisse seit dem MEDAS-Gutachten vom 3. Februar 2010 eingetreten und der Beschwerdeführer in einer leidensangepassten Tätigkeit weiterhin zu 50 % arbeitsfähig sei. Sie stützte sich dabei auf das MEDAS-Gutachten vom 2. Mai 2012 basierend auf einem rheumatologischen Konsilium des Dr. med. C._, Facharzt FMH Rheumatologie, vom 22. Dezember 2011 und einem psychiatrischen Konsilium des med. pract. B._, FMH Psychiatrie und Psychotherapie, vom 23. Januar 2012, dem sie volle Beweiskraft zuerkannte. Dies ist nicht zu beanstanden. Das Gutachten erweist sich unter Berücksichtigung der vom Gericht eingeholten ergänzenden Erklärung des Psychiaters med. pract. B._ vom 18. September 2013 zur Arbeitsfähigkeit als umfassend und schlüssig und erfüllt die rechtsprechungsgemässen Anforderungen an eine beweistaugliche medizinische Entscheidgrundlage (<ref-ruling> E. 3 S. 352 ff.). Wie die Vorinstanz richtig erwog, hat der Gutachter med. pract. B._ seine Beurteilung, wonach der Beschwerdeführer trotz einer gewissen Verschlechterung des Gesundheitszustandes im Sinne einer deutlicheren Ausprägung der (in Anzahl gleich gebliebenen) Symptome einer mittelgradigen Depression, nach wie vor zu 50 % arbeitsfähig ist, in der ergänzenden Stellungnahme nachvollziehbar begründet und diese Einschätzung der Arbeitsfähigkeit in vollem Bewusstsein über die von ihm im Gutachten erwähnte deutliche Verschlechterung gemacht. Damit konnten die Unklarheiten ausgeräumt werden. Mit der Vorinstanz kann auf das psychiatrische Konsilium des med. pract. B._ unter Miteinbezug seiner erklärenden Stellungnahme vom 18. September 2013 abgestellt werden.
3.2. Die Einwendungen des Beschwerdeführers, die sich hauptsächlich gegen das psychiatrische Konsilium des med. pract. B._ richten, vermögen zu keinem anderen Ergebnis zu führen. Sie sind nicht geeignet, die für das Bundesgericht grundsätzlich verbindliche vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig, als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach <ref-law> erscheinen zu lassen oder sonstwie eine Bundesrechtswidrigkeit zu begründen. Insbesondere kann entgegen dem Beschwerdeführer darin, dass die Vorinstanz die ergänzende Erklärung des Psychiaters med. pract. B._, wonach er die Verschlechterung der Befunde im Psychostatus nicht als dermassen ansah, dass sie zu einer relevant schlechteren Leistungseinschätzung als 50 % führten, im Gesamtkontext als nachvollziehbar und überzeugend beurteilte, keine willkürliche Beweiswürdigung gesehen werden. Eine Beweiswürdigung ist nicht bereits willkürlich, wenn sie nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (<ref-ruling> E. 2b S. 56; vgl. auch <ref-ruling> E. 1.3 S. 4 f.). Dies trifft hier nicht zu. Daran ändert auch nichts, dass es in rheumatologischer Hinsicht im Vergleich zur ersten Begutachtung zu einer 25%igen Einschränkung der Arbeitsfähigkeit gekommen und die Arbeitsunfähigkeit des Beschwerdeführers von seinem behandelnden Arzt mit 100 % angegeben worden ist. Das MEDAS-Gutachten beinhaltet eine Gesamtbeurteilung unter Berücksichtigung der psychiatrischen und rheumatologischen Einschätzungen. Mit der Vorinstanz hat die unbestrittene somatisch bedingte Verschlechterung der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit um 25 % aus rheumatologischer Sicht im Endergebnis keine Auswirkungen auf die Gesamtarbeitsfähigkeit des Beschwerdeführers, nachdem dieser bereits im MEDAS-Gutachten vom 3. Februar 2010 in einer leidensangepassten Tätigkeit aus psychiatrischen Gründen zu 50 % arbeitsunfähig beurteilt worden war. Bei dieser medizinischen Sachlage hat die Vorinstanz - weder in Verletzung des Untersuchungsgrundsatz noch des Anspruchs auf rechtliches Gehör nach <ref-law> - in zulässiger antizipierender Beweiswürdigung (vgl. <ref-ruling> E. 5.2 S. 69; <ref-ruling> E. 5.3 S. 236; Urteil 8C_682/2011 vom 12. Oktober 2011 E. 3.2.4) auf weitere Abklärungen im Sinne der beantragten psychiatrischen Nachbegutachtung verzichtet. Mithin besteht auch im vorliegenden Verfahren kein Anlass für ein Obergutachten.
4.
Nachdem die konkrete Invaliditätsbemessung nicht gerügt wird, besteht diesbezüglich kein Grund zu einer näheren Prüfung. Damit hat es mit der vorinstanzlich bestätigten Ablehnung eines höheren Rentenanspruchs sein Bewenden. Die Beschwerde ist abzuweisen.
5.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann nicht entsprochen werden, da die letztinstanzliche Beschwerde von vornherein aussichtslos war (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter