Sachverhalt:
A.
Der 1948 geborene M._ meldete sich am 11. Oktober 2010 zum Leistungsbezug bei der Invalidenversicherung an. Er hatte sich am 18. Januar 2010 wegen Spätfolgen eines 1975 erlittenen Unfalls mit "unhappy Trias" rechts mit mehrfragmentärer Tibiakopffraktur eine Knietotalprothese einsetzen lassen müssen. Die IV-Stelle Luzern holte die Akten der für den Unfall zuständigen Schweizerischen Unfallversicherungsanstalt (SUVA) sowie Berichte des Dr. med. B._, Oberarzt Orthopädie am Spital X._ und der Dr. med. D._, Fachärztin für Innere Medizin FMH, ein. Mit Verfügung vom 2. September 2011 teilte sie dem Versicherten mit, bei einem ermittelten Invaliditätsgrad von 6 % habe er keinen Anspruch auf eine Invalidenrente.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern (heute: Kantonsgericht Luzern) mit Entscheid vom 27. März 2013 ab.
C.
M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm ab 1. April 2011 eine ganze Rente auszurichten; eventuell sei die Sache zur Einholung eines medizinischen Gutachtens und anschliessendem neuen Entscheid an das kantonale Gericht zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Eine Beanstandung des Sachverhalts ist nur möglich, wenn die Feststellung offensichtlich unrichtig erfolgte oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht sowie die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
1.2. Die vorinstanzlichen, auf medizinischen Untersuchungen beruhenden Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person sind grundsätzlich Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (<ref-law>). Ebenfalls Tatfrage ist die konkrete Beweiswürdigung. Dagegen sind die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfragen (<ref-ruling> E. 3.2 und 4 S. 397 ff.), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann, wendet doch das Bundesgericht das Recht von Amtes wegen an (<ref-law>). Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es ebenfalls um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 397 ff.; Urteil 9C_133/2011 vom 29. April 2011 E. 1). Rechtsfrage ist ferner, nach welchen Gesichtspunkten die Entscheidung über die Verwertbarkeit der Restarbeitsfähigkeit erfolgt (Urteil 9C_190/2009 vom 11. Mai 2009 E. 3.3).
1.3. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (Botschaft des Bundesrates vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 S. 4338; MARKUS SCHOTT, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 9 f. zu <ref-law>). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2). Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteile 8C_5/2010 vom 24. März 2010 E. 1.2; 9C_368/2008 vom 11. September 2008 E. 4.2).
2.
Im vorinstanzlichen Entscheid werden die gesetzlichen Bestimmungen und die Rechtsprechung zur Invalidität erwerbstätiger Versicherter (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>), zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> in Verbindung mit <ref-law>), zur Aufgabe von Ärztinnen und Ärzten bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) sowie zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 3a-c S. 352 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Streitig ist zunächst das Ausmass der dem Beschwerdeführer in einer seiner gesundheitlichen Situation angepassten Tätigkeit zumutbaren Arbeitsfähigkeit. Nach einlässlicher Darstellung der medizinischen Aktenlage erwog das kantonale Gericht, es könne auf die Beurteilung des Dr. med. S._, Facharzt für Chirurgie und Kreisarzt bei der SUVA vom 5. Mai 2011, bestätigt mit Bericht vom 3. Januar 2012, abgestellt werden. Demnach könne der Versicherte in einer vorwiegend sitzenden Tätigkeit ohne Kniebelastung ganztags arbeiten. Auch dem Bericht des die Knieoperation ausführenden Dr. med. B._ könne nicht eindeutig eine andere Beurteilung entnommen werden. Soweit der Beschwerdeführer aus dem Bericht vom 5. April 2011 ableiten wolle, der Arzt halte nurmehr eine 50 %ige Tätigkeit für zumutbar, werde diese Ansicht nicht begründet. Der medizinische Sachverhalt sei vollständig abgeklärt und von weiteren Untersuchungen sei kein anderes Ergebnis zu erwarten.
3.2. Der Beschwerdeführer bringt im Wesentlichen vor, das kantonale Gericht habe der fachärztlichen Einschätzung des Dr. med. B._ nur ungenügende Beachtung geschenkt. Dessen Bericht hätte an den verwaltungsinternen Beurteilungen der Dres. med. S._ (SUVA) und A._ (IV) zumindest Zweifel erwecken müssen, weshalb die Vorinstanz ergänzende Abklärungen hätte vornehmen müssen. Er macht insofern eine Verletzung des Untersuchungsgrundsatzes geltend.
3.3. Hinsichtlich Befund und Diagnosen stimmen die verschiedenen Arztberichte überein. Ebenso ist unbestritten, dass der Beschwerdeführer in seiner zuletzt ausgeübten Tätigkeit als Hilfsabwart/Reinigungsmitarbeiter massgeblich limitiert ist (vgl. unter anderem Stellungnahme des Dr. med. A._ vom ärztlichen Dienst der IV-Stelle [RAD] vom 18. Mai 2011). Schliesslich herrscht darin Einigkeit, dass dem Versicherten Tätigkeiten mit Zwangshaltungen wie tiefe Hocke und knieende Stellungen, mit Schlägen und Vibrationen auf das rechte Knie und das Begehen von unebenem Gelände sowie das Heben von Lasten über 25 kg nicht mehr zumutbar sind. Die Berichte der behandelnden Ärzte Dr. med. B._ und Dr. med. D._ einerseits und der die SUVA beziehungsweise die Invalidenversicherung beratenden Ärzte Dr. med. S._ und Dr. med. A._ andererseits unterscheiden sich lediglich darin, dass erstere auch in einer den Beschwerden am rechten Knie angepassten Arbeit nur noch eine auf ein Pensum von 50 % limitierte Tätigkeit als zumutbar erachten. Die Vorinstanz hat sich mit den verschiedenen Einschätzungen der Arbeitsfähigkeit auseinandergesetzt. Sie hat insbesondere angeführt, eine (klinische) Begründung für die Einschätzungen der behandelnden Ärzte fehle; sie würden auf subjektive Angaben des Beschwerdeführers verweisen. Das kantonale Gericht kam dabei zum Schluss, es bestünden keine Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen. Der Beschwerdeführer sei zu 100 % arbeitsfähig.
3.4. Die Tatsachenfeststellungen des kantonalen Gerichts, namentlich die aus den medizinischen Akten gewonnene Erkenntnis, wonach eine Arbeits- und Leistungsfähigkeit in einer körperlich angepassten Tätigkeit von 100 % besteht, ist im letztinstanzlichen Prozess grundsätzlich verbindlich. Im Rahmen der eingeschränkten Sachverhaltskontrolle (<ref-law>) ist es nicht Aufgabe des Bundesgerichts, die schon im vorinstanzlichen Verfahren im Recht gelegenen medizinischen Berichte neu zu würdigen und die rechtsfehlerfreie Sachverhaltsfeststellung des kantonalen Gerichts hinsichtlich der medizinisch begründeten Einschränkung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Einschränkungen verbleibenden Arbeitsfähigkeit zu korrigieren.
Der Beschwerdeführer gab gegenüber dem Kreisarzt an, er könne maximal 2 1/2 Stunden am Stück gehen und stehen. Nach einer Stunde habe sich das Knie dann jeweils wieder erholt. Es ist daher nicht ersichtlich, inwiefern er eine vorwiegend sitzend auszuübende Tätigkeit, bei welcher er nach eigenem Bedürfnis auch gelegentlich stehen oder gehen kann, nicht ganztags sollte ausüben können. Die beschwerdeführerische Kritik an der vorinstanzlichen Beweiswürdigung ist nicht geeignet, eine Rechtsverletzung gemäss Art. 95 f. BGG als erstellt oder die vorinstanzliche Feststellung des Sachverhalts als mangelhaft im Sinne von Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG erscheinen zu lassen. Der Untersuchungsgrundsatz besagt insbesondere nicht, dass bei unbestrittenen Befunden und Diagnosen nur darum weitere Abklärungen getroffen werden müssen, weil verschiedene Ärzte in ihrer Zumutbarkeitseinschätzung voneinander abweichen. Es ist vielmehr gerade Aufgabe der richterlichen Beweiswürdigung, sich aus den aufgelegten Berichten eine eigene Meinung zu bilden. Die vorinstanzliche Beweiswürdigung und die Sachverhaltsfeststellung betreffend die Arbeitsfähigkeit beruhen nicht auf einer Rechtsverletzung. Sie sind auch nicht offensichtlich unrichtig, weshalb sie für das Bundesgericht verbindlich bleiben.
4.
4.1.
Zu prüfen bleibt die Rechtsfrage (E. 1.2 hievor; Urteil 8C_776/2008 vom 18. Juni 2009 E. 5.2), ob der Beschwerdeführer angesichts seines fortgeschrittenen Alters nach allgemeiner Lebenserfahrung in einem als ausgeglichen unterstellten Arbeitsmarkt (vgl. Art. 7 Abs. 1 und <ref-law>) noch als vermittelbar gelten und die ihm verbliebene Leistungsfähigkeit erwerblich verwerten kann.
4.2. Das fortgeschrittene Alter wird, obgleich an sich ein invaliditätsfremder Faktor, in der Rechtsprechung als Kriterium anerkannt, welches zusammen mit weiteren persönlichen und beruflichen Gegebenheiten dazu führen kann, dass die einer versicherten Person verbliebene Resterwerbsfähigkeit auf dem ausgeglichenen Arbeitsmarkt realistischerweise nicht mehr nachgefragt wird, und dass ihr deren Verwertung auch gestützt auf die Selbsteingliederungspflicht nicht mehr zumutbar ist (<ref-ruling> E. 2c S. 21; Urteile I 401/01 vom 4. April 2002 E. 4b; I 831/05 vom 21. August 2006 E. 4.1.1 mit Hinweisen). Der Einfluss des Lebensalters auf die Möglichkeit, das verbliebene Leistungsvermögen auf dem ausgeglichenen Arbeitsmarkt zu verwerten, lässt sich nicht nach einer allgemeinen Regel bemessen, sondern hängt ab von den Umständen, die mit Blick auf die Anforderungen der Verweisungstätigkeiten massgebend sind (beispielsweise Art und Beschaffenheit des Gesundheitsschadens und seiner Folgen; absehbarer Umstellungs- und Einarbeitungsaufwand und in diesem Zusammenhang auch Persönlichkeitsstruktur, vorhandene Begabungen und Fertigkeiten, Ausbildung, beruflicher Werdegang oder Anwendbarkeit von Berufserfahrung aus dem angestammten Bereich (Urteil 9C_954/2012 vom 10. Mai 2013 E. 2 mit Hinweisen).
4.3.
4.3.1. Das kantonale Gericht stellt hinsichtlich des Zeitpunktes, in welchem über die Verwertbarkeit der verbliebenen Arbeitsfähigkeit entschieden werden konnte, auf den 28. März 2011 ab, als Dr. med. B._ die Behandlung vorläufig abschloss (Bericht vom 28. März 2011). Das ist unter Berücksichtigung der in <ref-ruling> E. 3.2 und 3.3 S. 460 f. ergangenen Rechtsprechung nicht zu beanstanden. Der Beschwerdeführer war in diesem Zeitpunkt 62 3/4 Jahre alt.
4.3.2. Das Eidgenössische Versicherungsgericht hat etwa einen 60-jährigen Versicherten, welcher mehrheitlich als Wirker in der Textilindustrie tätig gewesen war, als zwar nicht leicht vermittelbar erachtet. Es sah aber mit Bezug auf den hypothetischen ausgeglichenen Arbeitsmarkt gleichwohl Möglichkeiten, eine Stelle zu finden, zumal Hilfsarbeiten auf dem hypothetischen, ausgeglichenen Arbeitsmarkt grundsätzlich altersunabhängig nachgefragt werden, und der Versicherte zwar eingeschränkt (weiterhin zumutbar waren leichte und mittelschwere Arbeiten im Gehen, Stehen und Sitzen in geschlossenen Räumen), aber immer noch im Rahmen eines Vollpensums arbeitsfähig war (Urteil I 376/05 vom 5. August 2005 insbesondere E. 4.2). Bejaht hat das Eidgenössische Versicherungsgericht auch die Verwertbarkeit der Restarbeitsfähigkeit eines (ebenfalls) 60-jährigen Versicherten mit einer aufgrund verschiedener psychischer und physischer Limitierungen (es bestanden u.a. rheumatologische und kardiale Probleme) um 30 % eingeschränkten Leistungsfähigkeit (Urteil I 304/06 vom 22. Januar 2007 E. 4.1 und 4.2). Schliesslich erachtete das Bundesgericht die Chancen eines 60 Jahre alten Versicherten, der für körperlich leichte Arbeiten, die abwechslungsweise sitzend oder stehend ausgeführt werden können, ohne regelmässiges Heben oder Tragen von Gewichten über 10 kg, ohne häufige Arbeiten über der Horizontalen und ohne regelmässige Kraftanwendung des linken Arms bei voller Stundenpräsenz im Umfang von 80 % arbeitsfähig, auf eine Anstellung für intakt (Urteil 9C_918/2008 vom 28. Mai 2009 E. 4.3).
Verneint wurde die Verwertbarkeit der Restarbeitsfähigkeit eines über 61-jährigen Versicherten, der über keine Berufsausbildung verfügte, bezüglich der aus medizinischer Sicht im Umfang von 50 % zumutbaren feinmotorischen Tätigkeiten keinerlei Vorkenntnisse besass, dessen Teilarbeitsfähigkeit weiteren krankheitsbedingten Einschränkungen unterlag und dem von den Fachleuten der Berufsberatung die für einen Berufswechsel erforderliche Anpassungsfähigkeit abgesprochen wurde (Urteil I 392/02 vom 23. Oktober 2003 E. 3.2 und 3.3). Als unverwertbar erachtet wurde auch die 50 %ige, durch verschiedene Auflagen zusätzlich limitierte Arbeitsfähigkeit eines knapp 64-jährigen Versicherten mit multiplen, die Arbeitsfähigkeit einschränkenden Beschwerden (Urteil I 401/01 vom 4. April 2002 E. 4c und d), ebenso eine 50 %ige Arbeitsfähigkeit einer im Verfügungszeitpunkt 61 Jahre und einen Monat alten Versicherten, die bezüglich der für sie in Frage kommenden Tätigkeiten einer Umschulung bedurft hätte (Urteil 9C_437/2008 vom 19. März 2009 E. 4 mit weiteren Hinweisen). Jüngst hat das Bundesgericht bei einem 60 Jahre alten Versicherten, welcher in seiner über 20 Jahre dauernden Tätigkeit als Hotelportier meist mittelschwere bis schwere Arbeiten ausgeführt hatte und behinderungsbedingt nur noch teils stehend, teils sitzend tätig sein kann, wobei nur noch Gewichte bis 5 kg zumutbar und ihm wegen seiner Krankheit sowohl Schichtdienste als auch das Führen von Fahrzeugen und Maschinen nicht mehr möglich sind, erkannt, er würde mit überwiegender Wahrscheinlichkeit auf dem ausgeglichenen Arbeitsmarkt keinen Arbeitgeber mehr finden (Urteil 9C_918/2012 vom 10. Mai 2013 E. 3.2).
4.3.3. Der Beschwerdeführer ist lediglich insoweit behindert, als wegen der Knieverletzung und der damit verbunden Spätfolgen nur noch vorwiegend sitzende oder wechselbelastende Arbeiten ausgeführt werden können. An den oberen Extremitäten bestehen keine Behinderungen, auch wenn er auf Grund seiner Arbeitsbiografie keine Erfahrung mit feinmotorischen Tätigkeiten hat. Bei Sortier- und Überwachungsarbeiten und ähnlichem ist er indessen nicht eingeschränkt. Im Lichte der dargelegten Grundsätze und der relativ hohen Hürden, welche das Bundesgericht für die Unverwertbarkeit der Restarbeitsfähigkeit älterer Menschen entwickelt hat, verletzte die Vorinstanz kein Bundesrecht, wenn sie einen iv-rechtlich erheblichen fehlenden Zugang des Beschwerdeführers zum Arbeitsmarkt verneinte.
4.4. Mit dem Einkommensvergleich setzt sich der Beschwerdeführer nicht auseinander, weshalb das Bundesgericht keine Veranlassung hat, sich zu diesem zu äussern (E. 1 hievor).
5.
Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. September 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Schüpfer