Sachverhalt:
A.
P._ meldete sich im Oktober 2002 bei der Invalidenversicherung zum Leistungsbezug an. Vom 1. März 2004 bis 31. Juli 2008 bezog er eine halbe, vom 1. August bis 31. Dezember 2008 eine ganze und ab 1. Januar 2009 wiederum eine halbe Invalidenrente. Bei einem Invaliditätsgrad von 37 % wurde die Rente auf den 31. Dezember 2009 aufgehoben (Urteil 9C_965/2011 vom 1. März 2011; Verfügung vom 24. November 2009). Am 25. Januar 2011 meldete sich P._ wiederum bei der Invalidenversicherung an, wobei er eine Verschlechterung des Gesundheitszustandes geltend machte. Mit Verfügung vom 29. März 2011, bestätigt durch den Entscheid des Versicherungsgerichts des Kantons Aargau vom 18. Oktober 2011, trat die IV-Stelle des Kantons Aargau auf das Gesuch nicht ein. Am 9. Dezember 2011 ersuchte der Versicherte erneut um eine Invalidenrente. Nach Durchführung des Vorbescheidverfahrens und nachdem der Versicherte innerhalb der ihm dafür angesetzten Frist weitere medizinische Unterlagen eingereicht hatte, trat die IV-Stelle mit Verfügung vom 30. August 2012 auf das Leistungsbegehren abermals nicht ein.
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. August 2013 ab.
C.
P._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, die Verfügung vom 30. August 2012 sei aufzuheben und die IV-Stelle sei anzuweisen, auf seine Neuanmeldung einzutreten und das Rentengesuch zu prüfen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Die BVG-Sammelstiftung Swiss Life und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
Das kantonale Gericht hat verbindlich (E. 1) festgestellt, die Verfügung vom 24. November 2009 beruhe auf dem Gutachten des Instituts X._ vom 8. September 2009, worin eine Arbeitsunfähigkeit von 30 % attestiert wurde. Es ist der Auffassung, dem Versicherten sei es nicht gelungen, bis zum Zeitpunkt der Neuanmeldung am 9. Dezember 2011 eine anspruchsrelevante gesundheitliche Verschlechterung glaubhaft zu machen. Folglich hat es die Nichteintretensverfügung vom 30. August 2012 bestätigt.
3.
3.1. Die Vorinstanz hat die gesetzlichen Grundlagen (Art. 87 Abs. 2 und 3 IVV [SR 831.201]) und die Grundsätze (<ref-ruling> E. 5.2.5 S. 68 f.; <ref-ruling> E. 2b S. 114; 262 E. 3 S. 264; Urteile 8C_624/2011 vom 2. November 2011 E. 4.3.1; 9C_549/2011 vom 12. September 2011 E. 2.2, je mit Hinweisen) für das Eintreten auf eine Neuanmeldung nach vorangegangener rechtskräftiger Rentenaufhebung zutreffend dargelegt; darauf wird verwiesen.
Weiter trifft zwar zu, dass für die Frage, ob eine rentenrelevante Veränderung des Sachverhalts glaubhaft ist, die zeitliche Vergleichsbasis der Zeitpunkt der letzten umfassenden materiellen Prüfung bildet. Zu korrigieren ist indessen die Auffassung des kantonalen Gerichts, wonach der Vergleichszeitraum mit dem Zeitpunkt der Gesuchseinreichung endet. Er erstreckt sich grundsätzlich bis zur Prüfung und Beurteilung des Gesuchs, d.h. bis zum Erlass der Verfügung betreffend die Neuanmeldung (<ref-ruling> E. 2.3 S. 73 und E. 3.2.4 S. 77; 64 E. 2 und 3 S. 66; ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 400). Anlass für eine Änderung dieser Rechtsprechung (vgl. <ref-ruling> E. 3 S. 8; <ref-ruling> E. 3 S. 82; <ref-ruling> E. 3.3 S. 76) besteht nicht. Dem vorinstanzlichen Standpunkt zu folgen, würde bedeuten, dass die IV-Stelle während eines laufenden Neuanmeldeverfahrens für jede nach der (Neu-) Anmeldung erfolgte Eingabe, die sich zumindest teilweise auf die Zeit nach der Anmeldung bezieht, wiederum ein eigenes Verfahren zu eröffnen hätte, weil sie annehmen müsste, dass die versicherte Person damit erneut eine Sachverhaltsänderung geltend macht. Verfahrensmässig würde dies - namentlich für die Verwaltung - einen unzumutbaren Leerlauf darstellen. Das gilt insbesondere mit Blick auf die Rechtsprechung, wonach die Verwaltung bei in Aussicht gestellten Beweismitteln eine Frist zu deren Einreichung zu setzen hat (verbunden mit der Androhung von Säumnisfolgen; <ref-ruling> E. 5.2.5 S. 69). Bei solchen - demnach zulässigen - Unterlagen handelt es sich häufig um erst noch zu erstellende ärztliche Berichte, die gesundheitliche Informationen auch über die Zeit nach der Neuanmeldung enthalten (vgl. etwa <ref-ruling> E. 6.1 S. 69 f.). Im Übrigen leuchtet nicht ein, weshalb in diesem Punkt etwas anderes als bei einem Revisionsgesuch (vgl. <ref-ruling> E. 1 S. 169 mit Hinweis) gelten sollte (vgl. <ref-law>).
3.2. In concreto ist demnach zu prüfen, ob der Versicherte für den Zeitraum vom 24. November 2009 bis zum 30. August 2012 eine anspruchsbeeinflussende Tatsachenänderung glaubhaft gemacht hat.
Ob das kantonale Gericht das richtige Beweismass (Glaubhaftmachung) angewandt hat, ist eine vom Bundesgericht frei zu prüfende Rechtsfrage. Demgegenüber beschlägt die Bewertung der dem Gericht vorgelegten Beweismittel die Beweiswürdigung, die vom Bundesgericht nur unter dem eingeschränkten Gesichtspunkt von <ref-law> geprüft wird (Urteile 5A_912/2013 vom 18. Februar 2014 E. 3; 9C_286/2009 vom 28. Mai 2009 E. 2.3).
3.3.
3.3.1. Die Vorinstanz hat den Bericht des Dr. med. I._, Facharzt für Pneumologie und allgemeine innere Medizin, vom 23. Mai 2012, den Operationsbericht des Dr. med. L._, Facharzt für Chirurgie und Handchirurgie, vom 14. Juni 2012 und dessen Verlaufsbericht vom 15. August 2012 ebenso wie die erst im Beschwerdeverfahren eingereichten Berichte des Dr. med. L._ vom 17. Januar 2013 sowie des Spitals Y._ vom 30. August 2012 und 8. Februar 2013 nicht berücksichtigt. Zur Begründung hat sie darauf verwiesen, dass sie sich allesamt auf den Gesundheitszustand nach der Neuanmeldung beziehen. Die medizinischen Unterlagen sind indessen soweit einzubeziehen, als sie einerseits Rückschlüsse auf die Entwicklung des Gesundheitszustandes bis zum 30. August 2012 (E. 3.2) zulassen und anderseits rechtzeitig in das Verfahren eingebracht wurden.
3.3.2. Der Beschwerdeführer macht zu Recht nicht geltend, dass eine Fristansetzung mit Androhung der Säumnisfolgen durch die Verwaltung unterblieb. Da es der versicherten Person obliegt, die relevante Sachverhaltsänderung glaubhaft zu machen, und diesbezüglich der Untersuchungsgrundsatz nicht spielt (Art. 87 Abs. 2 und 3 IVV), hätte das kantonale Gericht seiner beschwerdeweisen Überprüfung der Nichteintretensverfügung den Sachverhalt zugrunde legen müssen, wie er sich der Verwaltung bot (<ref-ruling> E. 5.2.5 S. 68 f.). Somit sind die ärztlichen Berichte, die der IV-Stelle bis zum Erlass der Verfügung vom 30. August 2012 vorlagen, zu berücksichtigen, während jene, die erst im vorinstanzlichen Verfahren eingereicht wurden, unbeachtlich bleiben.
3.4.
3.4.1. Mit dem Beweismass des Glaubhaftmachens sind herabgesetzte Anforderungen an den Beweis verbunden: Es genügt, dass für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstandes wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Änderung nicht erstellen lassen (Urteile 8C_844/2012 vom 5. Juni 2013 E. 2.3; 9C_838/2011 vom 28. Februar 2012 E. 3.3.2 mit Hinweisen).
3.4.2. Die Untersuchungen beim Institut X._ fanden im Juni 2009 und somit mehr als drei Jahre vor Erlass der Verfügung vom 30. August 2012 statt. Weiter beruhte die Rentenaufhebung auf einem Invaliditätsgrad von 37 %, weshalb bereits eine geringe Verminderung der Arbeitsfähigkeit anspruchsrelevant ist. Sodann genügt es, wenn eine Reduktion der Arbeitsfähigkeit lediglich die angestammte Arbeit als Verkaufsleiter, nicht aber andere leidensangepasste - mutmasslich geringer entlöhnte - Tätigkeiten betrifft, denn bei der mittels Prozentvergleich erfolgten Invaliditätsbemessung wurde auch das Invalideneinkommen auf der Basis der bisherigen Tätigkeit berücksichtigt (Urteil 9C_965/2010 vom 1. März 2011 E. 4.3.1). Bei diesen Gegebenheiten sind keine strengen Anforderungen an die Glaubhaftigkeit der geltend gemachten Tatsachenänderung resp. die entsprechenden Beweise zu stellen.
3.5.
3.5.1. Die Vorinstanz hat erwogen, der Regionale Ärztliche Dienst (RAD) sei in den Stellungnahmen vom 3. Februar und 6. Juni 2012 zum Schluss gekommen, dass die eingereichten medizinischen Unterlagen "nicht die Annahme einer wesentlichen bleibenden weitergehenden Einschränkung der zumutbaren Arbeitsfähigkeit rechtfertigten". Es sei unbestritten, dass der Beschwerdeführer durch die zunehmende Krümmung der Finger gestört und im Alltag vermehrt eingeschränkt sei; auf seine angestammte Tätigkeit als Verkaufsleiter habe dies jedoch keinen nennenswerten Einfluss. Beim Ulcus-ulnaris-Syndrom handle es sich um therapierbare und damit besserungsfähige Beschwerden. Es werde auch nicht ausreichend dargelegt, weshalb die 2012 erfolgten Operationen, die eine Verbesserung des Gesundheitszustandes bezweckten, aussergewöhnlich lange Rehabilitationsphasen verursacht haben sollten.
3.5.2. Dr. med. S._, Facharzt für allgemeine innere Medizin und Arbeitsmedizin, erkannte in seinem Gutachten vom 11. April 2012 gegenüber der Situation bei der Begutachtung des Instituts X._ eine Verschlechterung der Handbeschwerden sowohl rechts als auch links sowie neu beidseitig ein Ulcus-ulnaris-Syndrom; zudem sei der Gesundheitszustand aufgrund anstehender Operationen insgesamt nicht stabil. Dies begründe eine Reduktion der Arbeitsfähigkeit um weitere 10 %, wobei insbesondere Arbeiten am PC betroffen seien. Mit - im vorinstanzlichen Entscheid nicht erwähntem - Schreiben vom 16. Mai 2012 teilte Dr. med. F._ mit, dass der Versicherte am 7. Mai 2012 am Sprunggelenk operiert worden und seither bis auf Weiteres zu 100 % arbeitsunfähig sei. Aus den Berichten des Dr. med. L._ vom 11. November 2011 sowie vom 14. Juni und 15. August 2012 ergibt sich, dass an der linken Hand "neu" ein "schmerzhaftes Knuckle Pad PIP Gelenk Dig 5" auftrat und die rechtsseitigen Arm- und Handbeschwerden eine Operation erforderten, die am 12. Juni 2012 durchgeführt wurde. Sodann konnte Dr. med. I._ im Bericht vom 23. Mai 2012 zwar keine "ausgesprochene Pleuraschwarte" bestätigen, hingegen hielt er die Situation hinsichtlich einer Zwerchfellparese - bei radiologisch ausgewiesenem Zwerchfellhochstand - für unklar; in Anbetracht der fehlenden therapeutischen Konsequenz verzichtete er indessen auf weitere Abklärungen. Im Gutachten des Instituts X._, wo lediglich eine "leichte Vernarbung" des Zwerchfells rechts festgehalten wurde, fehlt ein vergleichbarer Befund.
3.5.3. Bei Gesamtbetrachtung der eingereichten medizinischen Unterlagen und mit Blick auf die Anforderungen an das Beweismass der Glaubhaftmachung (E. 3.4.2) liegen genügend Anhaltspunkte für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstandes vor. Dabei ist insbesondere zu berücksichtigen, dass der RAD bei seiner Einschätzung nicht auf die bisherige Arbeit als Verkaufsleiter - bei der regelmässiges Arbeiten am PC unumgänglich scheint -, sondern allgemein auf angepasste Tätigkeiten Bezug nahm. Zudem ist auch eine vorübergehende Verschlechterung der Arbeitsfähigkeit anspruchsrelevant, sofern sie mindestens drei Monate dauert (<ref-law>).
Nach dem Gesagten muss die Verwaltung auf die Neuanmeldung eintreten, unter anderem die zum Leistungsentscheid notwendigen (interdisziplinär-) medizinischen Unterlagen einholen und über den Rentenanspruch entscheiden (vgl. Urteil 9C_838/2011 vom 28. Februar 2012 E. 4). Die Beschwerde ist begründet.
4.
Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Der obsiegende Beschwerdeführer hat Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Aargau vom 13. August 2013 und die Verfügung der IV-Stelle des Kantons Aargau vom 30. August 2012 werden aufgehoben. Die IV-Stelle wird verpflichtet, auf die Neuanmeldung vom 25. August 2009 einzutreten.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
5.
Dieses Urteil wird den Parteien, der BVG-Sammelstiftung Swiss Life, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. April 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann