Sachverhalt: A. A.a. Der 1956 geborene, zuletzt bis Ende Oktober 2004 als Bauarbeiter tätig gewesene A._ meldete sich am 1. März 2006 wegen massiven degenerativen Veränderungen der Halswirbelsäule mit Diskopathien sowie psychischen Problemen und Schlafstörungen bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen Abklärungen, insbesondere einer interdisziplinären (rheumatologisch/psychiatrischen) Begutachtung, verneinte die IV-Stelle Zug mit Verfügung vom 25. Juni 2008 einen Anspruch auf Leistungen der Invalidenversicherung. Die dagegen erhobene Beschwerde wurde zufolge nicht fristgerechter Bezahlung des eingeforderten Kostenvorschusses vom Verwaltungsgericht des Kantons Zug als erledigt abgeschrieben (Verfügung vom 29. August 2008). Am 11. Februar 2009 meldete sich A._ erneut bei der Invalidenversicherung zum Leistungsbezug an und machte eine erhebliche Verschlechterung des Gesundheitszustandes geltend. Die IV-Stelle trat auf die Neuanmeldung ein und liess den Versicherten durch die Medizinische Abklärungsstelle (MEDAS) psychiatrisch und rheumatologisch begutachten. Gestützt auf dieses MEDAS-Gutachten vom 3. Februar 2010 sowie auf die Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 11. Februar 2010 sprach sie dem Versicherten mit Verfügung vom 24. Juni 2010 ab 1. August 2009 bei einem Invaliditätsgrad von 52 % eine halbe Invalidenrente zu. A.b. Mit Eingabe vom 8. Dezember 2010 ersuchte der Versicherte um "Revision seines Falles", da sich sein Gesundheitszustand seit 2009 verschlechtert habe. Die IV-Stelle holte erneut ein rheumatologisches/ psychiatrisches Gutachten bei der MEDAS ein, das am 2. Mai 2012 erstattet wurde. Gestützt auf dieses Gutachten wies die IV-Stelle nach Durchführung des Vorbescheidverfahrens und Einholen einer ergänzenden psychiatrischen Stellungnahme des med. pract. B._, FMH Psychiatrie und Psychotherapie, vom 28. Januar 2013 das Gesuch um Rentenerhöhung mit Verfügung vom 28. Februar 2013 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug nach Beizug einer zusätzlichen Stellungnahme des Psychiaters med. pract. B._ vom 18. September 2013 mit Entscheid vom 24. Oktober 2013 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Gerichtsentscheides seien ihm höhere Rentenleistungen - mindestens eine Dreiviertelsrente - auszurichten. Ferner wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.