Sachverhalt:
A.
Der 1964 geborene A._ war bei der B._ AG als Bauarbeiter tätig, als er am 4. März 2015 einen Unfall erlitt und sich dabei am linken Fuss verletzte (schweres Quetschtrauma mit Teilamputation des Strahls V und ausgedehnten Weichteilverletzungen). Die Schweizerische Unfallversicherungsanstalt (Suva) erbrachte Leistungen im Rahmen der obligatorischen Unfallversicherung. Am 12. August 2015 meldete sich A._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug klärte den erwerblichen sowie den medizinischen Sachverhalt insbesondere mittels Beizugs der Akten der Suva ab. Gestützt auf den Bericht über eine kreisärztliche Untersuchung durch Dr. med. C._, Facharzt für Chirurgie, vom 8. Juni 2017, sprach die IV-Stelle dem Versicherten mit Verfügung vom 5. September 2017 eine vom 1. März 2016 bis 31. August 2017 befristete ganze Invalidenrente zu. In der Begründung führte sie an, ab dem Zeitpunkt der kreisärztlichen Untersuchung seien dem Versicherten eine leichte bis mittelschwere körperliche Arbeit ganztags zumutbar. Das Zumutbarkeitsprofil beinhalte überwiegend sitzende Tätigkeiten mit einem gelegentlich wechselbelastenden Anteil, wobei längeres Gehen und Stehen, häufiges Benützen der Treppe, das Besteigen von Leitern und Gerüsten sowie Hocken oder Kauern zu vermeiden seien. Damit bestehe keine rentenbegründende Invalidität mehr.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 20. Dezember 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides sei ihm über den 31. August 2017 hinaus eine Invalidenrente zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen und neuer Verfügung an die IV-Stelle zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichten die Vorinstanz und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, als es den Anspruch des Beschwerdeführers auf eine ganze Rente der Invalidenversicherung auf den 31. August 2017 befristete.
Die Vorinstanz hat die Bestimmungen über den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG; Art. 6 und 8 ATSG zu den Begriffen der Arbeitsunfähigkeit und Invalidität), die Grundsätze über die rückwirkende Zusprechung einer (befristeten) Invalidenrente (<ref-ruling> E. 6.1 mit Hinweisen) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) richtig dargelegt. Darauf wird verwiesen.
Weder vor dem kantonalen Gericht noch letztinstanzlich wird angeführt, es mangle auf den Zeitpunkt der Befristung hin an einem Revisionsgrund (vgl. E. 1.1).
3.
Das kantonale Gericht stellte fest, dem Untersuchungsbericht des Dr. med. C._ vom 8. Juni 2017 komme voller Beweiswert zu, da er umfassend sei, auf einer eingehenden chirurgisch-orthopädischen Untersuchung beruhe und die Fragen nach den gesundheitlichen Beeinträchtigungen sowie der zumutbaren Arbeitsfähigkeit beantworte. Da sich der Arzt ausführlich mit den vom Versicherten beklagten Leiden und Einschränkungen auseinandergesetzt habe, leuchte seine Beurteilung der medizinischen Situation ein. Die attestierte volle Arbeitsfähigkeit in einer angepassten Tätigkeit sei begründet. Die Vorinstanz setzte sich mit den Einwänden des Beschwerdeführers auseinander und kam zum Schluss, es bestünden keine Zweifel an den Schlussfolgerungen des Kreisarztes, weshalb auf weitere Abklärungen verzichtet werden könne. Im weiteren ermittelte sie das der Invaliditätsbemessung zu Grunde liegende Valideneinkommen auf Fr. 73'410.-. Das Invalideneinkommen sei auf der Basis statistischer Daten der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE), 2014, zu bestimmen und auf Fr. 67'320.- zu beziffern. Bei dieser Sachlage müsse nicht darüber entschieden werden, ob davon allenfalls noch ein Abzug (zum Ganzen <ref-ruling>) vorzunehmen sei, da selbst ein solcher von - höchstens zulässigen - 25 % zu keinem rentenbegründenden Invaliditätsgrad führen würde.
4.
4.1.
4.1.1. Der Beschwerdeführer bringt nichts Stichhaltiges vor, was die Feststellungen der Vorinstanz zur Arbeitsfähigkeit als willkürlich erscheinen liesse. Insbesondere mit dem Einwand der fehlenden Beweistauglichkeit des kreisärztlichen Untersuchungsberichts des Dr. med. C._ und der Verletzung der Untersuchungsmaxime durch das kantonale Gericht vermag er nicht durchzudringen. Er zeigt nicht auf, inwiefern diese rechtlichen Grundsätze verletzt sein sollten. Der Grundsatz der freien Beweiswürdigung verlangt vielmehr eine umfassende, inhaltsbezogene, verantwortliche und der behördlichen Begründungspflicht genügende Prüfung aller Beweismittel (<ref-ruling> E. 3.1 S. 195), unabhängig von ihrer Herkunft und ohne Bindung an förmliche Beweisregeln (<ref-ruling> E. 3.4.1.1 S. 248). Dabei kommt den vom Unfallversicherer nicht im gesetzlich vorgesehenen Verfahren nach <ref-law> eingeholten Bericht der Beweiswert versicherungsinterner ärztlicher Feststellungen zu (Urteil 8C_486/2015 vom 30. November 2015 E. 4.1.3).
4.1.2. Das kantonale Gericht legte eingehend und nachvollziehbar dar, weshalb es den Ausführungen des Dr. med. C._ folgte. Insbesondere setzte es sich auch mit dem Argument des Beschwerdeführers auseinander, die chronische Schmerzproblematik schränke seine Leistungsfähigkeit ein, was gegen die Beweiskraft des Untersuchungsberichts des Dr. med. C._ spreche. Gemäss Feststellung der Vorinstanz wurden die geklagten Schmerzen anlässlich des Rehabilitationsaufenthaltes in der Klinik D._ als nicht konsistent beurteilt, weshalb einsichtig sei, dass der Kreisarzt die geklagten Schmerzen zufolge nicht möglicher Objektivierbarkeit bei der Einschätzung der Arbeitsleistung ausser Acht gelassen habe. Inwiefern diese Feststellung willkürlich sein soll, ist nicht ersichtlich und wird nicht dargetan.
Anzufügen bleibt, dass Dr. med. C._ den weiteren Gebrauch eines Tens-Gerätes (Gerät zur transkutanen elektrischen Nervenstimulation) zwar befürwortete, entgegen der Darstellung in der Beschwerde aber keine Angaben darüber machte, wie oft dieses zum Einsatz kommen soll. Über einen dreimal täglichen Gebrauch während 45 Minuten wird nur unter dem Titel "Angaben des Versicherten" berichtet, nicht aber ausgeführt, dass ein solcher notwendig sei, um eine Erwerbstätigkeit als zumutbar zu qualifizieren. Auch dem Bericht der Schmerzklinik des Spitals E._ vom 3. Mai 2017 lässt sich nicht entnehmen, dass das Gerät drei Mal täglich für jeweils 45 Minuten eingesetzt werden soll, wie dies in der Beschwerde geltend gemacht wird. Bezüglich des Tens-Gerätes führt dieser Bericht lediglich an: "Subjektiv empfindet Herr A._ die beste Schmerzlinderung nach Behandlung mit dem Tens-Gerät". Damit ist nicht zu beanstanden, dass das kantonale Gericht feststellte, es bestünden keinerlei Zweifel an der Zuverlässigkeit und Schlüssigkeit des kreisärztlichen Attestes einer vollen Arbeitsfähigkeit in einer angepassten Tätigkeit. Es bleibt anzufügen, dass selbst wenn das Tens-Gerät drei Mal täglich angewendet werden sollte, dies nicht zwingend während der Arbeitszeit erfolgen müsste. Ein Einsatz vor Arbeitsbeginn, während der Mittagspause und nach der Arbeit bleibt dem Beschwerdeführer auch bei einer Vollzeittätigkeit möglich.
4.1.3. Nachdem kein Arzt eine psychiatrische Erkrankung diagnostiziert hatte und kein Anhaltspunkt für eine solche vorliegt, ist schliesslich auch in der Feststellung des kantonalen Gerichts, es bestehe keine Veranlassung für eine Abklärung des psychischen Gesundheitszustandes, keine Verletzung des Untersuchungsgrundsatzes zu erblicken. Damit erübrigt sich auch die Durchführung eines strukturierten Beweisverfahrens nach Massgabe von <ref-ruling> und 143 V 409.
4.2. Da der Beschwerdeführer im Übrigen keine Einwände gegen die vorinstanzliche Invaliditätsbemessung vorbringt, hat es bei der Verneinung eines Rentenanspruchs ab dem 1. September 2017 sein Bewenden.
5.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer