Sachverhalt:
A.
Nachdem ein erstes Leistungsbegehren abgewiesen worden war (Verfügung vom 9. Januar 2009), meldete sich der 1964 geborene A._ im September 2010 erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau sprach ihm zunächst eine ganze Invalidenrente vom 1. April 2011 bis zum 30. April 2012 und eine Viertelsrente vom 1. Mai 2012 bis zum 31. März 2013 zu (Verfügungen vom 28. August 2015). Nach einem ersten Beschwerdeverfahren (Rückweisungsentscheid des Versicherungsgerichts des Kantons Aargau vom 15. Juni 2016), weiteren Abklärungen - insbesondere Einholung des bidisziplinären (Orthopädie/Traumatologie und Psychiatrie) Gutachtens des Swiss Medical Assessement- and Business-Centers (SMAB) vom 10. Juli 2017 - und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle mit Verfügung vom 4. Mai 2018 A._ eine ganze Invalidenrente vom 1. April 2011 bis zum 31. August 2013 und eine halbe Rente vom 1. September bis zum 30. November 2013 zu (Invaliditätsgrad von 100 %, 50 % und zuletzt 31 %).
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 7. Juni 2019 ab. Zudem änderte es die Verfügung vom 4. Mai 2018 insofern ab, als es die Rente bereits auf den 31. Juli 2013 aufhob.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 7. Juni 2019 sei ihm eine ganze Invalidenrente vom 1. April 2011 bis zum 31. August 2013 und eine unbefristete halbe Invalidenrente ab dem 1. September 2013 zuzusprechen; eventualiter sei die Sache zur weiteren Sachverhaltsabklärung zurückzuweisen.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (vgl. <ref-law>) klar und detailliert aufzuzeigen (<ref-ruling> E. 4.2 S. 53 mit Hinweisen; Urteil 9C_752/2018 vom 12. April 2019 E. 1.2).
2.
2.1. Das kantonale Gericht hat dem SMAB-Gutachten vom 10. Juli 2017 Beweiskraft beigemessen und gestützt darauf für angepasste Tätigkeiten eine Arbeitsfähigkeit von 70 % ab Mai 2013 festgestellt. Beim resultierenden Invaliditätsgrad von 31 % hat es (unter Anwendung von <ref-law> [SR 831.201]) einen Rentenanspruch ab dem 1. August 2013 verneint.
2.2. Der Beschwerdeführer stellt einzig die Feststellung betreffend seine Arbeitsfähigkeit ab Mai 2013 resp. die Beweiskraft des psychiatrischen SMAB-Teilgutachtens in diesem Zusammenhang in Abrede.
3.
3.1. Bei der Beurteilung der Arbeits (un) fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Ärztliche Aufgabe ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 3.2 S. 195; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
Geht es um psychische Erkrankungen wie eine anhaltende somatoforme Schmerzstörung, ein damit vergleichbares psychosomatisches Leiden (vgl. <ref-ruling> E. 2.2.1.3 S. 13 f.) oder depressive Störungen leicht- bis mittelgradiger Natur (<ref-ruling> und 418), sind für die Beurteilung der Arbeitsfähigkeit systematisierte Indikatoren beachtlich, die - unter Berücksichtigung leistungshindernder äusserer Belastungsfaktoren einerseits und Kompensationspotentialen (Ressourcen) anderseits - erlauben, das tatsächlich erreichbare Leistungsvermögen einzuschätzen (<ref-ruling> E. 2 S. 285 ff., E. 3.4-3.6 und 4.1 S. 291 ff.).
3.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an die Beweiskraft ärztlicher Berichte und Gutachten Rechtsfragen (Urteile 8C_673/2016 vom 10. Januar 2017 E. 3.2 und 9C_899/2017 vom 9. Mai 2018 E. 2.1). Gleiches gilt für die Frage, ob und in welchem Umfang die Feststellungen in einem medizinischen Gutachten anhand der rechtserheblichen Indikatoren auf Arbeitsunfähigkeit schliessen lassen (<ref-ruling> E. 7 S. 308 f.; Urteil 9C_504/2018 vom 3. Dezember 2018 E. 1.2).
3.3.
3.3.1. Der psychiatrische SMAB-Experte ging (mindestens) für das Jahr 2012 von einer aufgehobenen Arbeitsfähigkeit aus, weil der Versicherte in diesem Jahr drei Mal in einer psychiatrischen Klinik hospitalisiert gewesen war. Das kantonale Gericht hat überzeugend dargelegt, dass sowohl der SMAB-Experte als auch der behandelnde Psychiater Dr. med. B._ (spätestens) ab dem Zeitpunkt, zu dem dem Versicherten die Anstellung als Badewache in Aussicht gestellt resp. zugesagt wurde (im April 2013), eine erhebliche Verbesserung des Gesundheitszustandes und der Arbeitsfähigkeit angenommen hatten. Zwar hatte Dr. med. B._ in seinem Bericht vom 5. November 2013 "vorerst" nur ein Halbtagespensum empfohlen; indessen hat die Vorinstanz zutreffend erkannt, dass Dr. med. B._ dabei weder Bezug auf die von ihm im Bericht vom 10. Januar 2013 für das Jahr 2012 attestierte durchschnittliche Arbeitsfähigkeit von 60 bis 65 % genommen noch den seither deutlich verbesserten Gesundheitszustand berücksichtigt hatte. Weiter beachtete das kantonale Gericht hinsichtlich der Arbeitsfähigkeitsschätzung zu Recht die beschränkte Beweiskraft der Berichte behandelnder Ärzte (BGE <ref-ruling> E. 3b/cc S. 353) und den Ermessensspielraum des medizinischen Experten (<ref-ruling> E. 3.4.2.3 S. 253; Urteil 9C_397/2015 vom 6. August 2015 E. 5.3). Sodann enthält das psychiatrische Teilgutachten auch nachvollziehbare Ausführungen zu den Indikatoren gemäss <ref-ruling> (vgl. dazu auch E. 3.4). Soweit der Beschwerdeführer "starke Schwankungen" seines psychischen Zustandes behauptet, benennt er keine konkreten Hinweise auf eine deutliche und längere Zeit anhaltende (vgl. <ref-law>) Verschlechterung seines Gesundheitszustandes seit dem Frühjahr 2013, und solche sind auch nicht ersichtlich.
3.3.2. Das kantonale Gericht hat erkannt, dass der am 30. November 2016 aktenkundig gewordene Bericht der Hausärztin Dr. med. C._, Fachärztin für Allgemeine Innere Medizin und Kardiologie, im SMAB-Gutachten vom 10. Juli 2017 nicht erwähnt wurde. Es hat in diesem Zusammenhang - nicht offensichtlich unrichtig (vgl. E. 1.2) - dargelegt, dass dieser Bericht keine konkreten Indizien enthalte, die gegen die Zuverlässigkeit der Expertise sprechen (vgl. BGE <ref-ruling> E. 3b/bb S. 353). Der SMAB-Experte berücksichtigte denn auch die im Bericht der Dr. med. C._ erwähnte und vom Versicherten gegenüber ihm und dem behandelnden Psychiater Dr. med. B._ (Bericht vom 12. August 2016) angegebene Konzentrationsschwäche und Müdigkeit: Obwohl der Gutachter keine "depressive Symptomatik im engeren Sinne" feststellen konnte und den Versicherten für "aktuell nicht depressiv" befand, ging er von Residuen früherer depressiver Episoden resp. von einer unvollständig remittierten rezidivierenden depressiven Störung aus. Hinzu kommt, dass Dr. med. C._ für psychiatrische Belange nicht fachärztlich qualifiziert ist, und dass auch in Bezug auf ihre Einschätzung dem Unterschied zwischen Behandlungs- und Begutachtungsauftrag Rechnung zu tragen ist (BGE <ref-ruling> E. 3b/cc S. 353; Urteil 9C_561/2018 vom 8. Februar 2019 E. 5.3.2.2).
3.3.3. Der Beschwerdeführer bemängelt den Zeitaufwand für die psychiatrische Begutachtung. Dieser muss der Fragestellung und der zu beurteilenden Psychopathologie angemessen sein. Wie hoch er im Einzelfall zu veranschlagen ist, unterliegt letztlich der Fachkenntnis und dem Ermessensspielraum des damit befassten Experten. Massgebend ist in erster Linie, ob der Bericht inhaltlich vollständig und im Ergebnis schlüssig ist. Wichtigste Grundlage gutachterlicher Schlussfolgerungen bildet die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung (Urteil 8C_734/2016 vom 12. Juli 2017 E. 3.8). Konkrete Anhaltspunkte dafür, dass der psychiatrische SMAB-Experte diese Vorgaben nicht oder nur ungenügend beachtet haben soll, legt der Beschwerdeführer nicht dar und sind auch nicht erkennbar.
3.4. Nach dem Gesagten genügt das psychiatrische Teilgutachten des SMAB zumindest in Bezug auf den medizinischen Sachverhalt den Anforderungen an die Beweiskraft. Mit Blick auf die Einschätzung der Arbeitsfähigkeit ab 2013 fällt indessen auf, dass sich weder dem SMAB-Gutachten noch den übrigen medizinischen Unterlagen objektive diagnoserelevante Befunde entnehmen lassen, dass die psychiatrische Behandlung von eher geringer Intensität war (aktenkundig sind acht Konsultationen bei Dr. med. B._ zwischen Januar und 5. November 2013 und sechs Konsultationen zwischen Januar 2015 und 12. August 2016), dass der Experte ein intaktes soziales Umfeld feststellte und dass der Versicherte von vielseitigen Freizeitaktivitäten berichtete. Angesichts dieser Umstände ist fraglich, ob überhaupt eine rechtlich relevante Arbeitsunfähigkeit im Sinne von <ref-ruling> (vgl. E. 3.1 und 3.2) vorlag resp. vorliegt. Wie es sich damit verhält, kann aber offenbleiben.
3.5. Die vorinstanzliche Beweiswürdigung und die Feststellung einer Restarbeitsfähigkeit von (mindestens; vgl. E. 3.4) 70 % beruhen demnach nicht auf einer Rechtsverletzung. Sie sind auch nicht offensichtlich unrichtig (vgl. E. 1.2), zumal die reduzierte Arbeitstätigkeit des Versicherten ab Sommer 2013 gemäss dessen Angaben gegenüber dem Eingliederungsberater (vgl. Abschlussbericht Integration vom 25. Juni 2013) auf invaliditätsfremde Gründe zurückzuführen war. Sie bleiben somit für das Bundesgericht verbindlich (E. 1.1). Ohnehin beschränkt sich der Beschwerdeführer auf weiten Strecken darauf, die medizinischen Unterlagen abweichend von der Vorinstanz zu würdigen und daraus andere Schlüsse zu ziehen, was nicht genügt (Urteile 9C_494/2016 vom 19. Dezember 2016 E. 3.5; 9C_794/2012 vom 4. März 2013 E. 4.1; 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen). Die Beschwerde ist unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. November 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Meyer
Die Gerichtsschreiberin: Dormann