Sachverhalt:
A.
Der 1957 geborene A._ meldete sich am 18. April 2016 bei der Invalidenversicherung zum Leistungsbezug an. Am 29. Januar 2019 verfügte die IV-Stelle des Kantons Aargau, das Leistungsbegehren werde abgewiesen. Der Versicherte habe keinen Anspruch auf eine Invalidenrente.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 6. September 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, der angefochtene Entscheid sei aufzuheben und die IV-Stelle zu verpflichten, ihm eine Invalidenrente auszurichten.
Die IV-Stelle verlangt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die Verfügung der IV-Stelle vom 29. Januar 2019 bestätigte und einen Rentenanspruch des Versicherten verneinte.
3.
3.1. Die Vorinstanz mass den Berichten der Ärzte des Regionalen Ärztlichen Dienstes (RAD), Dr. med. B._, Fachärztin Innere Medizin, vom 22. Februar 2018, 30. Mai 2018, 22. Januar 2019 und 1. Mai 2019, Dr. med. C._, Facharzt Orthopädie, vom 1. Mai 2019, und dipl. med. D._, Fachärztin für Orthopädie (D), vom 7. Juni 2017, Beweiswert zu und erkannte, auf deren Arbeitsfähigkeitsschätzung könne abgestellt werden. Danach sei der Beschwerdeführer in einer leidensangepassten Tätigkeit seit November 2015 70 % arbeitsfähig (ganztägig mit 30%iger Leistungseinbusse).
3.2. Dagegen wendet der Beschwerdeführer im Wesentlichen ein, die Vorinstanz habe die Aktenbeurteilungen der RAD-Ärzte zu Unrecht als beweiswertig angesehen, weshalb weitere Abklärungen im Sinne von Art. 43 und 44 ATSG vorzunehmen seien.
4.
4.1. Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 3a S. 352). Der Arzt muss über die notwendigen fachlichen Qualifikationen verfügen (Urteil 9C_8/2011 vom 21. Februar 2011 E. 4.1.2 mit Hinweisen). Diesen Anforderungen genügende Berichte Regionaler Ärztlicher Dienste können einen vergleichbaren Beweiswert haben wie ein Gutachten (<ref-ruling> E. 1.2.1 S. 219).
Auch reine Aktengutachten können beweiskräftig sein, sofern ein lückenloser Befund vorliegt und es im Wesentlichen nur um die fachärztliche Beurteilung eines an sich fest stehenden medizinischen Sachverhalts geht, mithin die direkte ärztliche Befassung mit der versicherten Person in den Hintergrund rückt (Urteile 8C_119/2012 vom 30. März 2012 E. 4 und 9C_1063/2009 vom 22. Januar 2010 E. 4.2.1, in: SVR 2010 IV Nr. 46 S. 143). Dies gilt grundsätzlich auch in Bezug auf Berichte und Stellungnahmen Regionaler Ärztlicher Dienste (statt vieler: Urteil 9C_524/2017 vom 21. März 2018 E. 5.1 mit Hinweisen).
4.2. Nach der Rechtsprechung ist es dem Sozialversicherungsgericht nicht verwehrt, einzig oder im Wesentlichen gestützt auf die (versicherungsinterne) Beurteilung des RAD zu entscheiden. In solchen Fällen sind an die Beweiswürdigung jedoch strenge Anforderungen in dem Sinne zu stellen, dass bei auch nur geringen Zweifeln an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen ergänzende Abklärungen vorzunehmen sind (<ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 1d S. 162; Urteil 9C_28/2015 vom 8. Juni 2015 E. 3.3).
5.
5.1.
5.1.1. Die RAD-Ärzte führten im vorliegenden Fall keine eigenen Untersuchungen durch, sondern nahmen eine reine Aktenbeurteilung vor. In Bezug auf die vom Versicherten geklagte Rückenproblematik verfasste die Orthopädin dipl. med. D._ am 7. Juni 2017 eine Stellungnahme. Das von ihr unter anderem diagnostizierte chronische rezidivierende Lumbovertebralsyndrom mit Exazerbation ab 4. November 2015 steht, was der Beschwerdeführer nicht in Abrede stellt, in Einklang mit den Berichten des Dr. med. E._, Facharzt Allgemeine Innere Medizin, vom 17. Mai 2016 und 26. Juni 2017 sowie mit dem Bericht der Ärzte der Klinik für Neurochirurgie des Spitals F._ vom 4. Oktober 2016.
5.1.2. Dipl. med. D._ hat in ihrer Stellungnahme vom 7. Juni 2017 ausgeführt, in Anlehnung an den Bericht des Röntgeninstituts G._ vom 8. September 2016 betreffend MRI der Lendenwirbelsäule seien multisegmentale degenerative Veränderungen mit Vorwölbung von Bandscheibengewebe nach dorsal erkennbar.
Ihre darauf folgenden Ausführungen beziehen sich zwar auf allgemeine medizinische Aussagen zum genannten Beschwerdebild, wie der Versicherte zu Recht rügt. Dipl. med. D._ ist im Weiteren jedoch darauf eingegangen, dass für die Beantwortung der Frage, ob sich die degenerativen Veränderungen relevant auf die muskuloskelettalen Funktionen auswirken würden, durchaus die Befunde einer klinischen Untersuchung ausschlaggebend seien. Sie hat den Versicherten zwar nicht selber untersucht. Ihr haben aber für die Arbeitsfähigkeitsschätzung die Berichte des Hausarztes und insbesondere auch der fachärztliche Untersuchungsbericht der Neurochirurgen des Spitals F._ vom 4. Oktober 2016zur Verfügung gestanden. Dipl. med. D._ ist davon ausgegangen, dass den Ausführungen des Hausarztes Dr. med. E._ keine Befunde entnommen werden könnten, die eine radikuläre Symptomatik objektivierten. Auch fänden sich keine Berichte darüber, dass in Bezug auf die Rückenproblematik bis im Oktober 2016 spezialärztliche Untersuchungen oder Behandlungen notwendig gewesen seien. Im Weiteren hat dipl. med. D._ auf den Bericht der Neurochirurgen des Spitals F._ verwiesen und ausgeführt, dass diese im Rahmen ihrer Untersuchung keine radikulären Schmerzen und auch keine sensomotorischen Defizite beim Versicherten haben festhalten können, weshalb die Neurochirurgen von einer Operation abgesehen hätten. Sie hätten dem Beschwerdeführer auch von einer Infiltrationsbehandlung abgeraten, da aktuell keine stark beeinträchtigende Schmerzproblematik vorhanden gewesen sei. Ausserdem hätten sie dem Versicherten eine Gewichtsreduktion empfohlen.
Anhand dieser fachärztlichen Einschätzung ist dipl. med. D._ davon ausgegangen, dass in einer angepassten Tätigkeit (körperlich leicht, ohne Heben und Tragen von Gewichten über 5 kg, kein repetitives Vorneigen oder andere Körperzwangshaltung, wechselbelastend, jedoch vorwiegend sitzend) keine wesentlichen Einschränkungen der Arbeitsfähigkeit auszumachen seien. Sie hat ausserdem festgestellt, dass die Neurochirurgen zwar keine Stellung zur Arbeitsfähigkeit des Beschwerdeführers genommen hätten. Aus orthopädischer Sicht sei jedoch davon auszugehen, dass die beklagten Rückenschmerzen im hohen Ausmass auch von invaliditätsfremden Faktoren (erhebliches Übergewicht) mitbeeinflusst würden.
5.1.3. Mit Blick auf das Gesagte hat sich dipl. med. D._ fachärztlich eingehend mit den vorhandenen medizinischen Unterlagen befasst und sich gestützt auf die Berichte der behandelnden Ärzte, insbesondere auch der Fachärzte im Bereich Neurochirurgie, ein Bild in Bezug auf die Rückenproblematik verschaffen können. Überdies sind keine anderslautenden fachärztlichen Aussagen aktenkundig, die die Einschätzung der RAD-Ärztin in Zweifel zu ziehen vermögen. Der Hausarzt Dr. med. E._ ist in seiner Stellungnahme vom 26. Juni 2017 zwar davon ausgegangen, der Versicherte sei in rein sitzenden Tätigkeiten ohne Beinarbeit und mit der Möglichkeit, zwischendurch aufstehen zu können, für vier Stunden pro Tag arbeitsfähig. Dabei hat Dr. med. E._ jedoch nicht nur die Rückenproblematik, sondern sämtliche geklagten Beschwerden berücksichtigt. Die Rüge des Versicherten, es beständen mangels eines feststehenden medizinischen Sachverhalts Zweifel an der Zuverlässigkeit der Aktenbeurteilung der Orthopädin dipl. med. D._, verfängt folglich nicht.
5.2.
5.2.1. Der Versicherte rügt im Weiteren, auch im Zusammenhang mit der Hüft- und Knieproblematik liege kein feststehender medizinischer Sachverhalt vor. Da auch in diesem Zusammenhang keine fachärztliche Einschätzung sowie keine Umschreibung des funktionellen Leistungsvermögens auf der Grundlage einer Untersuchung vorliegen würden, beständen Zweifel an der ausschliesslich auf Akten basierenden versicherungsinternen Beurteilung.
5.2.2. Gemäss den Berichten des Orthopädie-Zentrums des Spitals F._ vom 8. Januar, 18. Februar und 2. April 2019 wurde dem Versicherten am 20. November 2018 eine Hüfttotalprothese links eingesetzt. Die behandelnden Ärzte führten aus, dass der Versicherte bei den Nachkontrollen zunächst noch über Beschwerden geklagt habe. Diese hätten sich jedoch bis zur Untersuchung im April zurückgebildet. Im Rahmen der letzten Kontrolle im April 2019 stellten die Ärzte des Orthopädie-Zentrums ein flüssiges Gangbild ohne Gehhilfen fest und berichteten, es seien keine weiteren regulären Nachkontrollen vorgesehen. In Anlehnung an diese Ausführungen hielten die Dres. med. B._ und C._ am 1. Mai 2019 fest, eine länger dauernde Einschränkung der Arbeitsfähigkeit in einer angepassten, körperlich leichten Tätigkeit sei nicht ersichtlich. Die RAD-Ärzte konnten sich in Bezug auf den Hüfteingriff ein umfassendes Bild verschaffen. Hinweise dafür, dass der Versicherte aufgrund der Hüfte in der Arbeitsfähigkeit über das von den RAD-Ärzten Festgehaltene hinaus eingeschränkt sein soll, liegen keine vor.
5.3.
5.3.1. Der Beschwerdeführer moniert ausserdem, er leide an diversen Gesundheitsbeeinträchtigungen. Die fehlende, auf Untersuchungen basierende Einschätzung der Gesamtsituation lasse wiederum Zweifel an der Zuverlässigkeit der versicherungsinternen Aktenbeurteilung aufkommen.
5.3.2. Dr. med. B._ nahm als Fachärztin für Innere Medizin am 22. Januar 2019 anhand der medizinischen Akten des Hausarztes und der behandelnden Fachärzte sowie unter Berücksichtigung der Stellungnahmen von dipl. med. D._ und Dr. med. C._ eine Gesamteinschätzung des Gesundheitszustands vor.
Sie hielt fest, dass ein Schlafapnoesyndrom gut behandelbar sei. Dies habe der Hausarzt Dr. med. E._ in seinem Bericht vom 26. Juni 2017 bestätigt mit der Aussage, das Schlafapnoesyndrom sei gut eingestellt. Die RAD-Ärztin führte im Weiteren aus, beim Versicherten sei eine Spiroergometrie durchgeführt worden. Die Sauerstoffaufnahme habe sich mit knapp 80 % des Sollwertes als zufriedenstellend erwiesen, sodass objektiv nur eine leicht eingeschränkte Leistungsfähigkeit festgestellt worden sei. In Bezug auf dieses Ergebnis sowie die Einschätzung der Ärzte der Pneumologie und Schlafmedizin des Spitals F._ sei beim Versicherten fachinternistisch und versicherungsmedizinisch für körperlich leichte Tätigkeiten von einer Einschränkung von 30 % auszugehen. Dr. med. B._ berichtete ausserdem, dass bei der Spiroergometrie keine Anhaltspunkte für eine kardiale Ursache der Leistungseinschränkung hätten festgestellt werden können. Der Versicherte weise überdies eine normale Schilddrüsenfunktion und somit keine Unterfunktion auf. Die Adipositas sei klar als Bestandteil des metabolischen Syndroms einzuordnen. Der Diabetes mellitus Typ 2 bedinge keine Einschränkung der Arbeitsfähigkeit. Bezüglich der Beschwerden der Lendenwirbelsäule verwies Dr. med. B._ auf die Einschätzung von dipl. med. D._.
5.3.3. Die Ausführungen von Dr. med. B._ sind mit Blick auf die Berichte der behandelnden Ärzte schlüssig und nachvollziehbar. Alleine der Umstand, dass sie eine Gesamteinschätzung der Arbeitsfähigkeit ohne eine eigene Untersuchung vorgenommen hat, vermag keine Zweifel an ihrer Stellungnahme zu erwecken.
5.3.4. Zu den vorinstanzlichen Feststellungen in psychiatrischer Hinsicht bringt der Versicherte nichts vor, weshalb diese verbindlich sind (E. 1).
5.4. Zusammenfassend ergibt sich, dass das kantonale Gericht den Berichten der dipl. med. D._ und den Dres. med. B._ und C._ (vgl. E. 3.1), auch wenn nicht auf eigenen Untersuchungen basierend, Beweiskraft beimessen durfte, ohne Bundesrecht zu verletzen. Die Feststellungen der Vorinstanz, wonach der medizinische Sachverhalt genügend abgeklärt sei und sich die Ärzte des RAD anhand der aktenkundigen Berichte insgesamt ein lückenloses Bild hätten machen können, ist nicht offensichtlich unrichtig oder sonstwie bundesrechtswidrig (E. 1). Der Verzicht der Vorinstanz auf weitere Abklärungen erfolgte in zulässiger antizipierter Beweiswürdigung (<ref-ruling> E. 5.3 S. 236 f. mit Hinweisen; <ref-ruling> E. 4b S. 94).
6.
6.1. Das kantonale Gericht ermittelte die beiden Vergleichseinkommen, Validen- und Invalideneinkommen (<ref-ruling> E. 2a S. 149), auf der Grundlage der selben statistischen Durchschnittslöhne und setzte den Invaliditätsgrad mit dem Grad der Arbeitsunfähigkeit gleich (vgl. Urteil 9C_675/2016 vom 18. April 2017 E. 3.2.1, in: SVR 2017 IV Nr. 71 S. 219). Es ging davon aus, dass ein leidensbedingter Abzug vom Tabellenlohn (<ref-ruling>) im vorliegenden Fall nicht angezeigt sei. Überdies würde jedoch auch ein Abzug in der Höhe von bis zu 10 % nichts am Ergebnis ändern, da sich selbst unter Berücksichtigung eines solchen kein rentenbegründender Invaliditätsgrad ergeben würde (37 %).
6.2. Der Beschwerdeführer bringt vor, entgegen dem kantonalen Gericht sei ein Abzug vom Tabellenlohn gerechtfertigt.
6.3.
6.3.1. Die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom Tabellenlohn vorzunehmen ist, stellt eine vom Bundesgericht frei überprüfbare Rechtsfrage dar. Dagegen ist die Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzugs eine Ermessensfrage und somit letztinstanzlich nur bei Ermessensüberschreitung, -missbrauch oder -unterschreitung korrigierbar (<ref-ruling> E. 5.1 S. 72 f.).
6.3.2. Selbst wenn im bundesgerichtlichen Verfahren ein Tabellenlohnabzug gewährt würde, verbliebe die Eventualbegründung der Vorinstanz, wonach ein Abzug von 10 % zu keinem rentenbegründenden Invaliditätsgrad führen würde. Gegen den Tabellenlohnabzug von 10 % wie auch gegen die vorinstanzlichen Ausführungen, dass dieser nicht genügen würde, um einen rentenrelevanten Invaliditätsgrad zu begründen, bringt der Beschwerdeführer nichts vor, weshalb diese Feststellungen im kantonalen Entscheid für das Bundesgericht verbindlich bleiben (E. 1; <ref-ruling> E. 6.3 S. 120 f. mit Hinweisen; Urteil 8C_88/2013 vom 15. Oktober 2013 E. 3.2; LAURENT MERZ, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 73 zu <ref-law>).
7.
Die Beschwerde ist unbegründet und der vorinstanzliche Entscheid zu bestätigen.
8.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, dem Bundesamt für Sozialversicherungen und der Vorsorgeeinrichtung G._ schriftlich mitgeteilt.
Luzern, 26. Mai 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber