Sachverhalt:
A.
A._, geb. 1958, war zuletzt als Mitarbeiter im Fahrzeugumschlag bei der B._ AG tätig, als ihm auf Ende Juli 2011 aus wirtschaftlichen Gründen gekündigt wurde. Am 27. März 2013 meldete er sich unter Hinweis auf Depressionen bei der Eidgenössischen Invalidenversicherung zum Leistungsbezug an. Am 18. Mai 2013 wurde er Opfer eines tätlichen Angriffs, bei dem er eine Schulterverletzung erlitt. Im Rahmen ihrer Abklärungen veranlasste die IV-Stelle des Kantons Aargau bei der asim Begutachtung, Basel (im Folgenden: asim), eine polydisziplinäre (psychiatrische, kardiologische und pneumologische) Begutachtung (Gutachten vom 19. November 2015). Zusätzlich holte sie beim Spital C._ ein orthopädisches Gutachten ein (Gutachten vom 2. Februar 2016). Nach Durchführung des Vorbescheidverfahrens sprach die IV-Stelle A._ mit Verfügung vom 23. November 2017 vom 1. Mai 2014 bis 30. November 2014 eine ganze und ab 1. Dezember 2014 eine halbe Invalidenrente zu.
B.
Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde mit Entscheid vom 10. Oktober 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung dieses Entscheids sei die Sache zur Einholung eines medizinischen Gutachtens an die Beschwerdegegnerin, eventualiter an das kantonale Gericht (zur Einholung eines Gerichtsgutachtens) zurückzuweisen. Weiter stellt er die Eventualanträge, dass die Sache an die Beschwerdegegnerin zurückzuweisen sei, damit diese die Resterwerbsfähigkeit mittels eines arbeitsplatzbezogenen Gutachtens abkläre und gestützt darauf das Invalideneinkommen neu berechne, oder es sei ihm ab dem frühest möglichen Termin eine ganze Rente auszurichten.
Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie dem Beschwerdeführer in Bestätigung der Verfügung vom 23. November 2017 ab 1. Dezember 2014 eine halbe statt einer ganzen Invalidenrente zusprach.
3.
3.1. Das kantonale Gericht legte die massgebenden Rechtsgrundlagen zu den Begriffen der Invalidität (Art. 7 f. ATSG, <ref-law>), zu den Voraussetzungen und Abstufungen des Rentenanspruchs (<ref-law> und Art. 28 Abs. 1 und 2 IVG), zur Kürzung von Tabellenlöhnen (<ref-ruling> E. 5.2 S. 301; <ref-ruling>) sowie zur Verwertbarkeit der Resterwerbsfähigkeit bei fortgeschrittenem Alter der versicherten Person (anstelle vieler: <ref-ruling> E. 5.3.1 S. 15 ff.; <ref-ruling> E. 3 S. 459 ff.) zutreffend dar. Gleiches gilt für die Ausführungen zum Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) und insbesondere von Gutachten externer Spezialärzte (<ref-law>; <ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 3b/bb S. 353). Darauf wird verwiesen.
3.2. Die Feststellungen zum Gesundheitszustand einer versicherten Person und der daraus resultierenden Arbeits (un) fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft, sind tatsächlicher Natur und vom Bundesgericht nur beschränkt überprüfbar (oben E. 1). Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 397 ff.; Urteil 9C_133/2011 vom 29. April 2011 E. 1). Rechtsfrage ist ebenfalls, ob dem Versicherten die Verwertung seiner Restarbeitsfähigkeit auf einem ausgeglichenen Arbeitsmarkt nach allgemeiner Lebenserfahrung noch zumutbar war (<ref-ruling> E. 2.4 S. 270; Urteil 8C_892/2018 vom 23. August 2018 E. 3.3). Ob ein behinderungsbedingt oder anderweitig begründeter Abzug vom Tabellenlohn vorzunehmen ist, stellt ebenfalls eine frei überprüfbare Rechtsfrage dar (<ref-ruling> E. 3.3 S. 399; Urteil 8C_604/2011 vom 23. Januar 2012 E. 4.2.1). Die Festlegung der Höhe eines solchen Leidensabzugs hingegen beschlägt eine typische Ermessensfrage, welche angesichts der dem Bundesgericht zukommenden Überprüfungsbefugnis letztinstanzlicher Korrektur nur mehr dort zugänglich ist (Art. 95 und 97 BGG), wo das kantonale Gericht sein Ermessen rechtsfehlerhaft ausgeübt hat, also bei Ermessensüberschreitung oder -unterschreitung bzw. bei Ermessensmissbrauch als Formen rechtsfehlerhafter (<ref-law>) Ermessensbetätigung (<ref-ruling> E. 2.2 S. 396 und E. 3.3 S. 399).
4.
4.1. Das kantonale Gericht stützte sich im Wesentlichen auf das polydisziplinäre Gutachten der asim vom 19. November 2015 sowie auf das orthopädische Gutachten des Spitals C._ vom 2. Februar 2016, denen es Beweiskraft zuerkannte. Auch würden die darin enthaltenen Angaben eine Indikatorenprüfung zulassen. Die Gutachter hätten die funktionellen Auswirkungen der gesundheitlichen Störung medizinisch schlüssig festgestellt, so dass auf die sich daraus ergebenden Arbeitsunfähigkeiten abzustellen und in antizipierter Beweiswürdigung auf weitere Beweismassnahmen zu verzichten sei.
4.1.1. Die Gutachter der asim stellten die Diagnosen mit Auswirkung auf die Arbeitsfähigkeit einer rezidivierenden depressiven Störung gegenwärtig mittelgradig (ICD-10 F33.1), eines Status nach postrheumatischem Doppelklappenvitium mit kombinierter Aortenstenose und Aorteninsuffizienz sowie kombinierter Mitralstenose und Mitralinsuffizienz sowie einer Koronarsklerose ohne signifikante Stenose. Die bisherige Tätigkeit werteten die Gutachter als vorwiegende Bürotätigkeit (körperlich leicht, potentiell wechselbelastend) und daher als angepasst. Gesamtmedizinisch sei derzeit eine 50%ige Arbeitsfähigkeit denkbar, wobei die zeitliche Einschränkung primär durch die psychiatrische Diagnose bedingt sei. Aus kardiologischer Sicht sei eine solche Arbeit in diesem Umfang ohne Weiteres möglich, die Arbeitsfähigkeit könne im Verlauf wohl auch weiter gesteigert werden. Als Verweistätigkeiten kämen vor allem leichte Tätigkeiten in Frage. Die Gutachter kamen zum Schluss, dass ab Mai 2013 (tätlicher Angriff) zunächst eine volle Arbeitsunfähigkeit bestanden habe; diese sei anschliessend durch die kardiologische Erkrankung mit zwei Herzoperationen und Komplikationen nach der ersten Operation bedingt gewesen. Ab dem 12. August 2014 könne gestützt auf den Bericht von med. pract. D._, Facharzt für Kardiologie, vom 14. Januar 2015 von einer Arbeitsunfähigkeit von 50 % ausgegangen werden, die bis zum Begutachtungszeitpunkt andauere. Die orthopädischen Gutachter des Spitals C._ diagnostizierten eine AC-Gelenksarthrose rechts und Impingementbeschwerden in der rechten Schulter mit Auswirkungen auf die Arbeitsfähigkeit. Beides führe zu Schmerzen und einer Belastungseinschränkung der rechten Schulter. Aufgrund der valvulären Kardiopathie und deren Behandlung, die vorrangig gewesen sei, habe eine weitere Therapie der Schulter nicht stattfinden können. Eine die aus psychischen Gründen attestierte Arbeitsunfähigkeit von 50 % übersteigende Arbeitsunfähigkeit sei nicht ausgewiesen, sofern der Patient leichtere Tätigkeiten ohne Belastung der Schulter im Sinn von Büroarbeit vollziehe. Für Tätigkeiten mit Belastung des rechten Arms und Arbeiten, die eine Mobilität über der Horizontalen im Sinn von Überkopfarbeiten erforderten, bestehe derzeit keine Arbeitsfähigkeit.
4.2. Der Beschwerdeführer macht zunächst geltend, dass auf diese Gutachten nicht abgestellt werden dürfe, weil sie von Institutionen stammten, die ihn zuvor behandelt hätten und daher vorbefasst seien: So habe das Spital E._ ihn am Herzen operiert, und auch im Spital C._ sei er hospitalisiert gewesen. Bereits aus diesem Grund sei ein neues Gutachten einzuholen. Dem ist entgegenzuhalten, dass Ausstands- oder Ablehnungsgründe nach der Rechtsprechung so früh wie möglich geltend gemacht werden müssen (<ref-ruling> E. 6.1.1 S. 266 f.; <ref-ruling> E. 7.4.2 S. 112). Vorliegend waren dem bereits damals anwaltlich vertretenen Beschwerdeführer die begutachtenden Institutionen jeweils ordnungsgemäss vor den Begutachtungen bekanntgegeben worden; auch hatte er beide Male Gelegenheit zur Erhebung von Einwänden erhalten (vgl. <ref-law>), die er allerdings nicht nutzte. Seine gegenteiligen Behauptungen sind aktenwidrig, ebenso wie seine Darstellung, wonach die Vergabe des Auftrags an die asim nicht nach dem Zufallsprinzip erfolgt sei. Mithin erweist sich die erstmals vor Bundesgericht vorgetragene Rüge als verspätet. Abgesehen davon kann sich ein Ausstandsbegehren stets nur gegen Personen und nicht gegen eine Institution oder Behörde als solche richten (<ref-ruling> E. 1.3.3 S. 227; Urteil 9C_319/2017 vom 15. Februar 2018 E. 2.2), und der Beschwerdeführer zeigt nichts auf, was auf eine Befangenheit der involvierten Sachverständigen hindeuten würde.
4.3. Soweit der Beschwerdeführer auf das Alter der Gutachten hinweist und rügt, die seitherige gesundheitliche Entwicklung sei nicht berücksichtigt worden, ist ihm mit der Vorinstanz zu entgegnen, dass eine Verschlechterung des Gesundheitszustands weder geltend gemacht wurde noch anderweitig ersichtlich ist. Insbesondere ergeben sich auch aus den Arztzeugnissen, die der Beschwerdeführer der IV-Stelle hatte zukommen lassen, keine hinreichend konkreten Indizien, die gegen die Zuverlässigkeit der versicherungsexternen Gutachten der asim und des Spitals C._ sprechen würden (vgl. <ref-ruling> E. 4.4 S. 470; Urteil 8C_73/2017 vom 6. Juli 2017 E. 4.2, in: SVR 2017 UV Nr. 46 S. 158). Mithin bestand weder für die Vorinstanz noch für die Beschwerdegegnerin Anlass zu weiteren Abklärungen.
4.4. Entgegen dem Beschwerdeführer ist der Vorinstanz zudem darin beizupflichten, dass die vor der Praxisänderung gemäss <ref-ruling> (in Verbindung mit <ref-ruling> und 143 V 418) erstellten Gutachten der asim und des Spitals C._ nicht per se ihren Beweiswert verlieren (<ref-ruling> E. 8 S. 309; <ref-ruling> E. 6 S. 266). Anhand der Angaben in den Gutachten nahm das kantonale Gericht sodann eine Prüfung der Standardindikatoren gemäss <ref-ruling> vor. Weiterungen dazu erübrigen sich, weil der Beschwerdeführer diese im Einzelnen nicht beanstandet und auch nicht erkennbar ist, dass die darin getroffenen Feststellungen und Schlussfolgerungen bundesrechtswidrig wären. Als Zwischenergebnis ist daher festzuhalten, dass die Vorinstanz den Gutachten der asim und des Spitals C._ zu Recht Beweiskraft zusprach und sie nicht gehalten war, weitere Abklärungen zu treffen. Folglich sind ihre Schlüsse betreffend die Arbeitsfähigkeiten des Beschwerdeführers nicht zu beanstanden.
5.
5.1. Der Beschwerdeführer bestreitet des Weiteren, dass ihm die Verwertung der ihm verbleibenden Restarbeitsfähigkeit angesichts seines fortgeschrittenen Alters und seines Gesundheitszustands noch möglich sei. Dies begründet er im Wesentlichen mit den erfolglosen Vermittlungsbemühungen des RAV, wobei unklar sei, ob deren Scheitern auf die gesundheitlichen Einschränkungen, das fortgeschrittene Alter oder auf beides zurückzuführen sei. Damit sei erstellt, dass er nicht mehr vermittelbar sei.
5.2. Die Vorinstanz verwies in diesem Zusammenhang auf die zehnjährige Berufserfahrung des Beschwerdeführers im Fahrzeugumschlag. Diese Tätigkeit sei ihm in einem Pensum von 50 % weiterhin bzw. wieder zumutbar, ebenso wie jede andere Bürotätigkeit oder Tätigkeit mit dem von den Gutachtern vorgegebenen Anforderungsprofil (wie Kontroll- oder Überwachungsaufgaben oder Verkaufs- und Beratungstätigkeiten). Die medizinischen Unterlagen erlaubten eine zuverlässige Sachverhaltsfeststellung der Zumutbarkeit einer Teilerwerbstätigkeit seit Februar 2016 (vgl. BGE <ref-ruling> E. 3.3 S. 461 f.). Zwar sei die verbleibende Erwerbsspanne von sieben Jahren (bzw. von fünf Jahren im Zeitpunkt des kantonalen Gerichtsentscheids) nicht mehr lang. Da der Beschwerdeführer aber in seiner bisherigen Tätigkeit noch arbeitsfähig sei und entsprechend wenig Einarbeitung benötige, sei trotz seines Alters nicht von einem invalidenversicherungsrechtlich erschwerten Zugang zum Arbeitsmarkt auszugehen.
5.3. Angesichts der relativ hohen Hürden, die das Bundesgericht für die Unverwertbarkeit der Restarbeitsfähigkeit älterer Menschen entwickelt hat (vgl. BGE <ref-ruling> E. 3.1 S 459 f.; Urteile 8C_892/2017 vom 23. August 2018 E. 5; 8C_117/2018 vom 31. August 2018 E. 2.2.3), verletzte die Vorinstanz kein Bundesrecht, wenn sie die Anstellungschancen auf dem vom Gesetzes wegen als ausgeglichen unterstellten Arbeitsmarkt als intakt erachtete. Etwas anderes ergibt sich weder aus dem Hinweis auf die erfolglose Vermittlungstätigkeit des RAV (vgl. <ref-ruling>; Urteile 9C_416/2011 vom 19. Juli 2011 E. 3.1; C 39/98 vom 8. Juni 1998 E. 3b, in: ARV 1999 Nr. 19 S. 107) noch aus dem Umstand, dass die bisherige Arbeitsstelle nicht mehr existiert, so dass eine Rückkehr dorthin nicht mehr möglich ist. Denn dem Beschwerdeführer stehen, wie die Vorinstanz aufzeigte, zahlreiche andere angepasste Tätigkeiten offen. Zu ergänzen bleibt, dass - entgegen der Vorinstanz - nicht von einer "nicht mehr langen" Erwerbsspanne gesprochen werden kann. Denn für den Zeitpunkt, in welchem die Frage nach der Verwertbarkeit der (Rest-) Arbeitsfähigkeit bei vorgerücktem Alter beantwortet wird, ist nicht auf das Datum des kantonalen Gerichtsentscheids sondern auf das Feststehen der medizinischen Zumutbarkeit einer (Teil-) Erwerbstätigkeit abzustellen (PBGE <ref-ruling> E. 3.3 S. 461 f.). Im fraglichen Zeitpunkt (Februar 2016) war der Beschwerdeführer 58 Jahre alt und hatte damit noch eine nicht unerhebliche Erwerbsdauer von sieben Jahren vor sich.
6.
Nicht beigepflichtet werden kann dem Beschwerdeführer schliesslich, soweit er geltend macht, beim Invalideneinkommen sei wegen seines Alters, der gesundheitlichen Beeinträchtigungen, des psychischen Zustands und der fehlenden Ausbildung der maximale Leidensabzug von 25 % angezeigt, anstelle des Abzugs von 5 %, den Vorinstanz und Beschwerdegegnerin vornahmen, weil ihm lediglich noch eine Teilzeiterwerbstätigkeit möglich sei. Zum einen setzte sich die Vorinstanz mit den im kantonalen Gerichtsverfahren vorgebrachten Argumenten eingehend und zutreffend auseinander, worauf verwiesen wird. Zum andern ist festzuhalten, dass die körperlichen und psychischen Einschränkungen bereits im Belastungs- und Anforderungsprofil berücksichtigt wurden, weshalb sie nicht noch einmal als abzugsrelevant herangezogen werden können (Urteile 9C_233/2018 vom 11. April 2019 E. 3.2; 8C_327/2018 vom 31. August 2018 E. 4.4.1; 8C_97/2014 vom 16. Juli 2014 E. 4.2; je mit Hinweisen). Ebenso gibt eine mangelnde Ausbildung nicht zwingend Anlass zu einer zusätzlichen Verminderung der tabellarischen Lohnansätze, umfasst das Kompetenzniveau 1 doch eine Vielzahl von Tätigkeiten, für die keine Ausbildung erforderlich ist (vgl. Urteile 9C_695/2018 vom 13. März 2019 E. 5.3; 9C_898/2017 vom 25. Oktober 2018 E. 3.4; je mit Hinweisen). Schliesslich weist die Vorinstanz zu Recht darauf hin, dass sich das Alter (Jahrgang 1958) gegenüber dem Durchschnitt um rund 14 % lohnerhöhend auswirkt (vgl. Bundesamt für Statistik, Monatlicher Bruttolohn nach Berufsgruppen, Lebensalter und Geschlecht, T 17, Total, Männer > 50 Jahre, 2014). Aufgrund dieser Überlegungen sowie der ausführlichen Begründung der Vorinstanz verfängt der Vorwurf des Beschwerdeführers nicht, wonach die Vorinstanz ihr Ermessen in Bezug auf die Höhe des Abzugs nicht ausgeschöpft, d.h. rechtsfehlerhaft, ausgeübt hätte. Die Beschwerde ist daher abzuweisen.
7.
Bei diesem Verfahrensausgang sind die Gerichtskosten vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juni 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart