Sachverhalt:
A.
Der 1961 geborene A._ meldete sich am 5. Juni 2014 wegen psychischer Beschwerden zum Leistungsbezug bei der Invalidenversicherung an. Nach Abklärungen in beruflicher und medizinischer Hinsicht, insbesondere nach Einholung eines polydisziplinären Gutachtens bei der Neurologie B._ AG (vom 1. März 2016) und einer psychiatrischen Expertise bei Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie vom 20. Juli 2016, lehnte die IV-Stelle des Kantons Aargau das Leistungsbegehren ab (Verfügung vom 21. März 2017). Nachdem das Versicherungsgericht des Kantons Aargau mit Entscheid vom 14. November 2017 die dagegen erhobene Beschwerde abgewiesen hatte, hiess das Bundesgericht die gegen diesen Entscheid geführte Beschwerde teilweise gut und wies die Sache zur Einholung eines psychiatrischen Gerichtsgutachtens und zu neuem Entscheid an die Vorinstanz zurück.
B.
Das Versicherungsgericht holte daraufhin bei Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie sowie Neurologie, SMAB AG, Bern, ein Gutachten vom 20. Mai 2019 ein. Mit Entscheid vom 17. Juli 2019 hiess es daraufhin die Beschwerde teilweise gut, hob die Verfügung vom 21. März 2017 auf und sprach dem Versicherten eine halbe Invalidenrente ab 1. Dezember 2014 zu.
C.
A._ lässt Beschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheids sei ihm eine ganze Invalidenrente ab 1. Dezember 2014 zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen und neuem Entscheid an die Vorinstanz zurückzuweisen. Subeventualiter sei ihm eine Dreiviertelsrente ab 1. Dezember 2014 zuzusprechen.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 f.; <ref-ruling> E. 1.4.1 S. 254). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend, d.h. willkürlich ist (<ref-ruling> E. 8.1 S. 153; <ref-ruling> E. 3.1 S. 44). Offensichtlich unrichtig ist eine Sachverhaltsfeststellung etwa dann, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch einschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_734/2016 vom 12. Juli 2017 E. 1.2 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob die Vorinstanz mit der Zusprechung einer halben Invalidenrente ab 1. Dezember 2014 Bundesrecht verletzte.
Das kantonale Gericht legte die rechtlichen Grundlagen betreffend die Arbeitsunfähigkeit (Art. 6 ATSG), die Erwerbsunfähigkeit (Art. 7 ATSG), die Invalidität (Art. 8 Abs. 1 ATSG), die Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (vgl. Art. 16 ATSG) und den Rentenanspruch (Art. 28 Abs. 2 IVG) richtig dar. Darauf wird verwiesen. Ergänzend ist festzuhalten, dass nach den Grundsätzen zur Beweiswürdigung medizinischer Berichte und Gutachten das Gericht nicht ohne zwingende Gründe von Gerichtsgutachten abweicht (<ref-ruling> E. 6.2.3.2 S. 282).
3.
Die Vorinstanz setzte sich zunächst unter Würdigung des SMAG-Gutachtens vom 20. Mai 2019 mit der gesundheitlichen Situation des Versicherten auseinander und erkannte dem Gerichtsgutachten vollen Beweiswert zu. Demnach leidet der Versicherte an einer andauernden Persönlichkeitsänderung nach Extrembelastung (ICD-10 F62.0) und an einer rezidivierenden depressiven Störung (mittelgradige depressive Episode; ICD-10 F33.1), woraus sich eine 50%-ige Arbeitsfähigkeit für leidensangepasste Tätigkeiten ergab. Gemäss vorinstanzlicher Feststellung sind dabei leichte bis mittelschwere Tätigkeiten einfacher geistiger Art - ohne grosse Verantwortung und ohne besondere Anforderungen an die psychische Belastbarkeit - zumutbar.
Ausgehend vom gleichen Tabellenlohn für die Bestimmung des Validen- und Invalideneinkommens und unter Berücksichtigung eines leidensbedingten Abzugs von 10 % ermittelte das kantonale Gericht sodann einen Invaliditätsgrad von 55 %, woraus sich der Anspruch auf eine halbe Rente der Invalidenversicherung ergab.
4.
4.1. Nicht durchzudringen vermag der Beschwerdeführer vorab mit dem Einwand der Verletzung des rechtlichen Gehörs durch die Vorinstanz, weil sie sich nicht mit seinen entscheidwesentlichen Einwänden im Hinblick auf die Kritik am psychiatrischen Gutachten auseinandergesetzt habe. Das kantonale Gericht legte die diesbezüglich als wesentlich und erstellt erachteten Tatsachen sowie die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dar. Eine sachgerechte Anfechtung des vorinstanzlichen Entscheids war demnach möglich, weshalb keine Verletzung des (formellen) Anspruchs auf rechtliches Gehör resp. der Begründungspflicht (Art. 29 Abs. 2 BV; Art. 6 EMRK) vorliegt (vgl. <ref-ruling> E. 4.3.2 S. 436 mit Hinweisen).
4.2. Was der Beschwerdeführer sodann gegen die Beweiskraft der Gerichtsexpertise vom 20. Mai 2019 vorbringt, verfängt nicht :
Gemäss <ref-ruling> E. 2.2.1 liegt regelmässig keine versicherte Gesundheitsschädigung vor, soweit die Leistungseinschränkung auf Aggravation oder einer ähnlichen Erscheinung beruht. Besteht im Einzelfall Klarheit darüber, dass solche Ausschlussgründe die Annahme einer Gesundheitsbeeinträchtigung verbieten, so besteht von vornherein keine Grundlage für eine Invalidenrente (Art. 7 Abs. 2 erster Satz ATSG). Soweit die betreffenden Anzeichen neben einer ausgewiesenen verselbstständigten Gesundheitsschädigung (<ref-ruling> E. 5a S. 299) auftreten, sind deren Auswirkungen derweil im Umfang der Aggravation zu bereinigen (<ref-ruling> E. 2.2 S. 287 f.).
4.3. Wenn der Versicherte zur im Gutachten festgehaltenen bewusstseinsnahen Aggravation ausführt, mangels von Verdeutlichung und Traumafolgen abgrenzbarer Aggravation sei von einer mehr als 50%-igen Arbeitsunfähigkeit auszugehen, ist dies nicht stichhaltig. Zum einen führte Dr. med. D._ nachvollziehbar aus, weshalb er "von einer Aggravation mit Bewusstseinsnähe" ausging, "welche von (auch unbewussten) Verdeutlichungstendenzen abgrenzbar" sei, wie das kantonale Gericht richtig feststellte. Zum andern nahm der Gutachter die Einschätzung der medizinischen Situation und der Arbeitsfähigkeit auf der Basis der von ihm objektiv erhobenen, mittelgradig ausgeprägten Befunde vor. Er leitete die Diagnosen nachvollziehbar und schlüssig her und hielt gestützt darauf eine um 50 % eingeschränkte Arbeitsfähigkeit als gegeben. Der Gerichtsgutachter legte dabei im Rahmen einer lege artis vorgenommenen, sorgfältigen Beurteilung dar, welche krankheitsbedingt plausibilisierten Einschränkungen der Arbeitsfähigkeit bestehen und führte dementsprechend aus, dass die mittelschwere depressive Erkrankung sowie die anhaltende Persönlichkeitsänderung eine Arbeitsfähigkeit von über 50 % verhinderten; eine vorübergehende Steigerung der Arbeitsfähigkeit gelänge allenfalls auf Kosten der Gesundheit durch Selbstüberforderung, wobei er korrekterweise psychosoziale Belastungsfaktoren ausklammerte. Soweit er damit den Anteil an Aggravation bei der Beurteilung der Leistungseinschränkung im Sinne einer Bereinigung berücksichtigte, ist dies rechtsprechungskonform (E. 4.2 hievor). Die Vorinstanz durfte demnach seine Einschätzung übernehmen, ohne Bundesrecht zu verletzen.
Ohnehin beschränkt sich der Versicherte über weite Strecken auf eine von der Vorinstanz abweichende Beweiswürdigung (vgl. Urteile 9C_714/2015 vom 29. April 2016 E. 4.3; 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen) resp. appellatorische Kritik (vgl. <ref-ruling> E. 2.3 S. 266), was zur Begründung offensichtlicher Unrichtigkeit nicht genügt.
4.4. Bei dieser Sachlage bedeutet der in antizipierter Beweiswürdigung erfolgte Verzicht auf weitere Abklärungen, insbesondere die Ablehnung des offerierten medizinischen Privatgutachtens, keine Verletzung des Untersuchungsgrundsatzes. Dadurch wird auch nicht das Recht auf Beweis verletzt (Art. 29 Abs. 2 BV; Art. 6 Ziff. 1 EMRK).
5.
5.1. In Bezug auf die beruflich-erwerbliche Seite der Invaliditätsbemessung rügt der Beschwerdeführer einzig eine rechtsfehlerhafte Ermessensausübung bei der Festsetzung des leidensbedingten Abzugs vom Tabellenlohn von 10 %.
5.2.
5.2.1. Sind Validen- und Invalideneinkommen ausgehend vom gleichen Tabellenlohn zu berechnen, entspricht der Invaliditätsgrad dem Grad der Arbeitsunfähigkeit unter Berücksichtigung des Abzuges vom Tabellenlohn gemäss <ref-ruling> (vgl. SVR 2017 IV Nr. 71 S. 219, 9C_675/2016 E. 3.2.1).
5.2.2. Mit dem Abzug vom Tabellenlohn nach <ref-ruling> soll der Tatsache Rechnung getragen werden, dass persönliche und berufliche Merkmale, wie Art und Ausmass der Behinderung, Lebensalter, Dienstjahre, Nationalität oder Aufenthaltskategorie und Beschäftigungsgrad, Auswirkungen auf die Lohnhöhe haben können und je nach Ausprägung die versicherte Person deswegen die verbliebene Arbeitsfähigkeit auch auf einem ausgeglichenen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5.2 S. 301; Urteil 8C_114/2017 vom 11. Juli 2017 E. 3.1). Der Abzug soll aber nicht automatisch erfolgen. Er ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen und darf 25 % nicht übersteigen (<ref-ruling> E. 5.2 S. 301; <ref-ruling> E. 5.2 S. 327 f.; <ref-ruling> E. 5b/bb-cc S. 80). Die Rechtsprechung gewährt insbesondere dann einen Abzug auf dem Invalideneinkommen, wenn eine versicherte Person selbst im Rahmen körperlich leichter Hilfsarbeitertätigkeit in ihrer Leistungsfähigkeit eingeschränkt ist (<ref-ruling> E. 5a/bb S. 78). Zu beachten ist jedoch, dass allfällige bereits in der Beurteilung der medizinischen Arbeitsfähigkeit enthaltene gesundheitliche Einschränkungen nicht zusätzlich in die Bemessung des leidensbedingten Abzugs einfliessen und so zu einer doppelten Anrechnung desselben Gesichtspunkts führen dürfen (Urteil 9C_846/2014 vom 22. Januar 2015 E. 4.1.1 mit Hinweisen).
5.3. Die Höhe des (Leidens-) Abzugs von 10 % liegt im vorinstanzlichen Ermessensspielraum: Das kantonale Gericht berücksichtigte rechtsfehlerfrei, dass der Versicherte nur noch teilzeitlich erwerbstätig sein kann und die Tatsache, dass er eine Niederlassungsbewilligung der Kategorie C besitzt. Weiter stellte es verbindlich fest, dass die vom Gutachter attestierten Einschränkungen bereits bei der Formulierung des Tätigkeitsprofils resp. bei der um 50 % reduzierten Arbeitsfähigkeit berücksichtigt sind. Der Umstand, dass der Beschwerdeführer nicht unter besonderem Zeitdruck arbeiten sowie keine Tätigkeiten mit besonderen Anforderungen an die Konfliktfähigkeit oder mit Akkord- und Nachtarbeitsbedingungen ausüben sollte, rechtfertigt keinen höheren Abzug. Denn es kann trotz der angeführten Bedingungen nicht davon ausgegangen werden, dass für den Beschwerdeführer auf einem ausgeglichenen Arbeitsmarkt kein genügend breites Spektrum an zumutbaren Verweisungstätigkeiten mehr besteht (SVR 2015 IV Nr. 22 S. 65, 8C_693/2014 E. 4.2.1 mit Hinweisen; Urteil 8C_799/2018 vom 30. April 2019 E. 4.3 mit Hinweisen). Aus dem zitierten Urteil 8C_297/2018 vom 6. Juli 2018 kann der Versicherte ferner nichts zu seinen Gunsten ableiten. Denn es verhielt sich dort bereits mit Blick auf den Sachverhalt insofern anders lag, als neben den Einschränkungen in psychischer und intellektueller Hinsicht körperliche Behinderungen das Tätigkeitsprofil weiter erheblich beeinflussten, was hier nicht zutrifft. Nichts anderes gilt in Bezug auf das ebenfalls in der Beschwerde erwähnte Urteil 8C_447/2017, worin ebenfalls in Bezug auf die noch zumutbare Tätigkeit (im kaufmännischen Bereich) eine nicht vergleichbare Ausgangslage bestand. Weiter kommt dem Faktor Alter im Zusammenhang mit dem Leidensabzug nur beschränkte Bedeutung zu. So fällt der Umstand, dass die Stellensuche altersbedingt erschwert sein mag, als invaliditätsfremder Faktor regelmässig ausser Betracht (Urteil 8C_552/2017 vom 18. Januar 2018 E. 5.4.1). Überdies ist der Vorinstanz beizupflichten, dass sich das Alter bei Männern im Alterssegment von 50 bis 64/65 bei Stellen ohne Kaderfunktion eher lohnerhöhend auswirkt (vgl. LSE 2016, Tabelle TA9, Median; siehe auch in <ref-ruling> nicht publizierte E. 4.6 des Urteils 9C_535/2017 vom 14. Dezember 2017; Urteil 8C_227/2018 vom 14. Juni 2018 E. 4.2.3.4). Schliesslich zeigt der Beschwerdeführer nicht auf, inwiefern die Nichtberücksichtigung der langen Abwesenheit vom Arbeitsmarkt bei den hier noch zumutbaren Hilfstätigkeiten als Abzugsgrund willkürlich oder sonstwie bundesrechtswidrig sein soll. Insoweit er eine Addition der von ihm postulierten prozentualen Abzüge verlangt, verkennt er, dass praxisgemäss keine separat quantifizierten Abzüge je für die massgeblichen Kriterien vorzunehmen und diese zu addieren sind, sondern der Abzug einer gesamthaften Schätzung entspricht (E. 5.2.2 hievor). Eine rechtsfehlerhafte Ermessensbetätigung durch die Vorinstanz im Sinne von Ermessensüberschreitung, -missbrauch oder -unterschreitung (<ref-ruling> E. 5.1 S. 72; <ref-ruling> E. 3.3 S. 199) legt der Beschwerdeführer mit seinen Einwendungen jedenfalls nicht dar. Der angefochtene Entscheid hält auch in diesem Punkt vor Bundesrecht stand.
6.
Dem Ausgang des Verfahrens entsprechend trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. September 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla