Sachverhalt: A. Der 1962 geborene A._, zuletzt als Hilfsarbeiter in einer Bäckerei tätig gewesen, meldete sich am 23. April 2015 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Graubünden liess den Versicherten bei der Ärztliches Begutachtungsinstitut GmbH (ABI) polydisziplinär begutachten (Expertise vom 25. Januar 2017). Mit Vorbescheid vom 15. Mai 2017 gab die Verwaltung bekannt, sie werde A._ ab dem 1. November 2015 bis 31. März 2017 eine ganze Invalidenrente zusprechen. Daran hielt sie mit Verfügung vom 28. November 2017 fest. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 12. Februar 2019 ab. C. A._ führt Beschwerde in öffentlichen Angelegenheiten und beantragt unter Aufhebung des kantonalen Entscheids die Feststellung, dass er auch nach dem 1. April 2017 Anspruch auf eine ganze Invalidenrente habe. Eventuell sei die Angelegenheit an die Vorinstanz zurückzuweisen.