Sachverhalt:
A.
Der 1959 geborene A._ arbeitete zuletzt als Reinigungsangestellter bei der B._ AG. Mitte Dezember 2012 rutschte er auf Glatteis aus, wobei er sich eine Distorsion am rechten Knie und eine Kontusion im Bereich der rechten Hüfte zuzog. Die Schweizerische Unfallversicherungsanstalt (Suva) erbrachte die gesetzlichen Leistungen. Auf Ende Juli 2013 kündigte die Arbeitgeberin die Stelle.
Am 16. August 2013 meldete sich A._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Graubünden zog die Akten der Unfallversicherung bei und veranlasste beim Regionalen Ärztlichen Dienst (nachfolgend: RAD) eine psychiatrisch-rheumatologische Abklärung (Untersuchungsbericht vom 7. April bzw. 8. Mai 2014). Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle einen Rentenanspruch mit Verfügung vom 20. November 2014 (Invaliditätsgrad: 0 %).
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 7. Januar 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Rechtsbegehren, in Aufhebung des angefochtenen Entscheides seien ihm Leistungen nach IVG, namentlich eine Invalidenrente, auszurichten. Eventualiter sei die Sache zur Einholung einer verwaltungsexternen polydisziplinären Begutachtung unter Einbezug eines Orthopäden, eines Rheumatologen und eines Psychiaters an die IV-Stelle zurückzuweisen. Mit nachträglichen Eingaben lässt sich A._ ergänzend zur Sache vernehmen.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2. Die Ergänzung der Beschwerde nach Ablauf der gesetzlichen Beschwerdefrist (Art. 100 Abs. 1, Art. 47 BGG) ist nicht zulässig (<ref-ruling> E. 1.6 S. 161). Die Eingaben vom 23., 24., 26., 28., 29. und 30. August sowie vom 31. Oktober und 1. September 2016 (Memorystick) bleiben daher zum vorneherein unbeachtlich.
2.
Der Beschwerdeführer rügt vorab in formeller Hinsicht eine Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV), weil das kantonale Gericht die Berichte seiner behandelnden Ärzte nicht bzw. nur unvollständig einbezogen habe. Darin liegt keine Gehörsrüge sondern der Vorwurf mangelhafter Beweiswürdigung, was eine Tatfrage betrifft. Davon abgesehen braucht darauf nicht näher eingegangen zu werden. Denn selbst bei Annahme einer schweren Verletzung des Anspruchs auf rechtliches Gehör ist von einer Rückweisung abzusehen, wenn diese zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (BGE 137 I 195 E. 2.3.2 S. 197; <ref-ruling> E. 4.2.2.2 S. 126; <ref-ruling> E. 2.2 S. 204). Davon ist hier auszugehen (vgl. nachfolgend E. 3.4).
3.
Streitig und zu prüfen ist, ob das kantonale Gericht die Verfügung der IV-Stelle vom 20. November 2014, womit dem Beschwerdeführer eine Invalidenrente verweigert wurde, zu Recht geschützt hat.
3.1. Die Vorinstanz hat dem bidisziplinären RAD-Untersuchungsbericht vom 7. April und 8. Mai 2014 Beweiskraft beigemessen. Gestützt darauf ist sie zum Schluss gelangt, dass kein weiterer Abklärungsbedarf bestehe und dem Beschwerdeführer eine Arbeitsfähigkeit von 100 % für adaptierte Tätigkeiten zumutbar sei. Den von der Verwaltung vorgenommenen Einkommensvergleich (vgl. Art. 16 ATSG) hat das kantonale Gericht bestätigt und ein Valideneinkommen von Fr. 55'156.54 sowie, unter Berücksichtigung eines Abzugs vom Tabellenlohn von 10 %,ein Invalideneinkommen v on Fr. 57'164.- herangezogen. Da der Invaliditätsgrad somit unter 40 % liege, hat es einen Rentenanspruch verneint.
3.2. Dem Sozialversicherungsgericht ist es nicht verwehrt, gestützt auf interne medizinische Unterlagen zu entscheiden, die im Wesentlichen oder sogar ausschliesslich vom am Recht stehenden Versicherungsträger eingeholt wurden. In solchen Fällen sind an die Beweiswürdigung jedoch insoweit strenge Anforderungen zu stellen, als bei auch nur geringen Zweifeln an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen ergänzende Abklärungen vorzunehmen sind (<ref-ruling>; Urteil 9C_492/2012 vom 25. September 2012 E. 5.3). Eine fehlende fachspezifische Qualifikation stellt ein Indiz gegen die Zuverlässigkeit und damit den Beweiswert eines ärztlichen Berichts dar. Umgekehrt genügt die Tatsache allein nicht, dass eine abweichende (selbst fach-) ärztliche Meinung besteht, um im dargelegten Sinne die Aussagekraft und damit den Beweiswert eines medizinischen Berichts in Frage zu stellen (vgl. statt vieler: Urteil 9C_196/2014 vom 18. Juni 2014 E. 5.1.2 mit Hinweisen).
3.3. Die Frage nach der Erfüllung der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten ist eine frei überprüfbare Rechtsfrage (<ref-ruling> E. 5.1 S. 232).
3.4.
3.4.1. Die Vorinstanz hat den Beweiskriterien in obigem Sinne (vgl. E. 3.2 vorne) hinreichend Rechnung getragen. Sie ist zum Schluss gelangt, dass die Berichte des Hausarztes und der behandelnden Ärzte des Versicherten keine (auch nur geringen) Zweifel an der Beurteilung des RAD hervorrufen könnten, weshalb dieser Beweiskraft zukomme. Insbesondere auch bildgebend erweise sich der medizinische Sachverhalt als genügend abgeklärt. Inwieweit diese Begründung nicht bundesrechtskonform sein soll, wie der Beschwerdeführer geltend macht, ist nicht ersichtlich. Die Ausführungen in der Beschwerde beschränken sich in weiten Teilen darauf, die vorhandene Bildgebung in Bezug auf die Rücken- und Flankenschmerzen des Versicherten bzw. die diesbezüglichen ärztlichen Unterlagen abweichend von der Vorinstanz zu würdigen und daraus andere Schlüsse zu ziehen, was nicht genügt (Urteile 9C_494/2016 vom 19. Dezember 2016 E. 3.5; 9C_794/2012 vom 4. März 2013 E. 4.1; 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen). Das kantonale Gericht hat insbesondere den Bericht der Klinik C._ vom 11. Juni 2014 berücksichtigt und für das Bundesgericht verbindlich (vgl. E. 1.1 vorne) festgestellt, die beurteilenden Ärzte Dres. med. D._ und E._ hätten offengelassen, ob und welche Auswirkungen der festgestellte Befund auf die Arbeitsfähigkeit des Versicherten zeige. Der Einwand des Beschwerdeführers, die erwähnte Stellungnahme sei unberücksichtigt geblieben, trifft nicht zu.
3.4.2. Der Beschwerdeführer übersieht sodann, dass auch den weiteren ärztlichen Angaben - mit einer Ausnahme (vgl. nachfolgend E. 3.4.3) - überhaupt nichts zur Arbeitsfähigkeit zu entnehmen ist (vgl. Berichte des Dr. med. E._ vom 24. September 2013, des Dr. med. F._ vom 28. April 2015 und der Dres. med. G._ und H._ vom 1. und 2. Juni 2015). Die Vorinstanz hat willkürfrei (vgl. E. 1.1 vorne) festgestellt, bei einer gemäss Dr. med. D._ (vgl. Bericht vom 19. Februar 2014) am 24. Januar 2014 durchgeführten MRI-Untersuchung hätten zwar glaubhafte Schmerzen im rechten Kniegelenk dokumentiert werden können. Bezüglich den sonstigen Schmerzen hätten sich im MRI jedoch weder ein Bandscheibenvorfall noch eine relevante Einengung der Foramina gezeigt. Die RAD-Fachärztin med. pract. I._, Physikalische Medizin und Rehabilitation, äusserte sich dementsprechend (vgl. rheumatologischer RAD-Untersuchungsbericht, Ziff. 7.1 S. 11). Vor diesem Hintergund ist nicht ersichtlich und wird in der Beschwerde auch nicht (substantiiert) dargetan, dass relevante Aspekte im RAD-Untersuchungsbericht vom 8. Mai 2014 unberücksichtigt geblieben oder falsch gewichtet worden wären. Der Beschwerdeführer vermag auch nicht zu begründen, inwiefern mit Blick auf die nach der RAD-Beurteilung datierenden Berichte Rückschlüsse auf eine Beeinträchtigung der Arbeitsfähigkeit für adaptierte Tätigkeiten gezogen werden könnten. Der Umstand, dass die behandelnden Ärzte teilweise andere Diagnosen stellten bzw. festhielten, die Schmerzen könnten mit den bildgebenden Befunden (partiell) vereinbar sein, ändert - anders als der Beschwerdeführer glauben machen will - nichts (vgl. <ref-ruling> E. 5.2 S. 12 f. mit Hinweisen; Urteil 8C_335/2015 vom 26. August 2015 E. 3.1.2). Im Übrigen ist der Sachverhalt zu beurteilen, wie er sich bis zum Verfügungszeitpunkt (hier: 20. November 2014) entwickelt hat (<ref-ruling> E. 1b S. 366).
3.4.3. Was die (weiteren) Angaben des behandelnden Orthopäden Dr. med. F._ angeht - soweit sie in zeitlicher Hinsicht überhaupt zu berücksichtigen sind - trifft zwar zu, dass daraus eine Beeinträchtigung der Arbeitsfähigkeit auch für sitzende Tätigkeiten hervorgeht (Arbeitsfähigkeit: vier bis sechs Stunden täglich; vgl. Bericht vom 2. März 2015). An einer schlüssigen und nachvollziehbaren Begründung für die attestierte Arbeitsunfähigkeit fehlt es indessen (vgl. <ref-ruling> E. 3a S. 352). So kam Dr. med. F._ wie die RAD-Ärztin med. pract. I._ (vgl. rheumatologischer RAD-Untersuchungsbericht, Ziff. 7.1 S. 12) zum Schluss, dass sich aufgrund der klinischen Untersuchung keine klaren Diagnosen ergäben. Auch in Bezug auf die Bildgebung wich der behandelnde Orthopäde nicht nennenswert vom RAD-Untersuchungsbericht ab, indem er die beklagten Schmerzen, wie in der Beschwerde eingeräumt wird, bloss teilweise objektivieren konnte. Der vom Beschwerdeführer geltend gemachte Widerspruch beschränkt sich demnach einzig darauf, dass Dr. med. F._ die Schmerzen des Versicherten - anders als der RAD - auf die Schmorl'schen Knoten als Hinweis auf einen Zustand nach M. Scheuermann zurückführte und diesem Befund Auswirkungen auf die Arbeitsfähigkeit zuerkannte. Dies genügt nach dem Gesagten nicht, um (auch nur geringe) Zweifel am RAD-Untersuchungsbericht zu begründen (vgl. E. 3.2 vorne). Die Vorinstanz hat überdies zu Recht dem Unterschied zwischen Behandlungs- und Begutachtungsauftrag Rechnung getragen (vgl. statt vieler: Urteil 8C_567/2010 vom 19. November 2010 E. 3.3.2). Ausserdem verkennt der Beschwerdeführer, dass Dr. med. F._ festhielt, die Arbeitsfähigkeit von vier bis sechs Stunden für sitzende Tätigkeiten gelte "mindestens in der Eingliederungsphase" (vgl. Bericht vom 2. März 2015, S. 4), was darauf hindeutet, dass er (zu Unrecht) eine Dekonditionierung des Versicherten einbezog. Ein invalidisierender Gesundheitsschaden (mit bleibendem Charakter, vgl. Art. 4 Abs. 2 IVG) ist damit jedenfalls auch nach der Einschätzung des Dr. med. F._ nicht ausgewiesen.
3.4.4. Schliesslich drückt die Rüge, der RAD-Psychiater Dr. med. K._ habe im Zusammenhang mit den geltend gemachten psychosozialen Umständen die "medico-legal" notwendige Differenzierung unterlassen, nichts Konkretes aus, was (auch nur geringe) Zweifel am bidisziplinären RAD-Untersuchungsbericht begründen könnte. Sie ist daher nicht zu hören, zumal eine Beeinträchtigung der Arbeitsfähigkeit des Versicherten aus psychiatrischer Sicht nicht zur Diskussion steht.
3.5. Zusammengefasst durfte das kantonale Gericht auf den RAD-Untersuchungsbericht vom 7. April und 8. Mai 2014 abstellen, ohne Bundesrecht zu verletzen. Der Verzicht auf weitere Abklärungen erfolgte in zulässiger antizipierender Beweiswürdigung (<ref-ruling> E. 5.3 S. 236 f. mit Hinweis). Dies verstösst entgegen der Beschwerde weder gegen den Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln (Art. 43 Abs. 1 und 61 lit. c ATSG) noch gegen den Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) oder das Gebot eines fairen Verfahrens (Waffengleichheit) nach Art. 9 BV und Art. 6 Ziff. 1 EMRK (Urteil 8C_590/2015 vom 24. November 2015 E. 6, nicht publ. in: <ref-ruling>, aber in: SVR 2016 IV Nr. 33 S. 102).
4.
Die Vorinstanz hat im Rahmen des Einkommensvergleichs (Art. 16 ATSG) die Schweizerische Lohnstrukturerhebung (LSE 2010, TA1, Ziff. 96 "Sonst. persönliche Dienstleistungen", Anforderungsniveau 4, Männer) herangezogen und, indexiert und unter Berücksichtigung der betriebsüblichen wöchentlichen Arbeitszeit, ein Valideneinkommen von Fr. 55'156.54 ermittelt (vgl. E. 3.1 vorne). Der Beschwerdeführer bestreitet diese Annahme nicht. Ob für das Invalideneinkommen, wie in der Beschwerde einzig dargelegt wird, der gleiche Tabellenlohn (inkl. gleichem Anforderungsniveau 4) heranzuziehen und ausserdem ein maximaler Abzug vom Tabellenlohn (vgl. <ref-ruling> E. 5.2 S. 327 f.; <ref-ruling> E. 5b/bb S. 80) vorzunehmen ist, kann dahingestellt bleiben, da so oder anders kein rentenbegründender Invaliditätsgrad von 40 % resultiert (vgl. Art. 28 Abs. 2 IVG). Die Beschwerde ist unbegründet.
5.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. April 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Grünenfelder