Sachverhalt:
A.
A.a. Der 1959 geborene A._ meldete sich im August 2010 unter Hinweis auf Knieprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach einer arbeitsmarktlich-medizinischen Abklärung vom 24. September bis 19. Oktober 2012 ersuchte er am 7. Januar 2013 um Zusprechung von Arbeitsvermittlung, welche ihm in Form von Beratung und Unterstützung bei der Stellensuche gewährt wurde.
Mit Verfügung vom 23. Januar 2013 verneinte die IV-Stelle Bern einen Rentenanspruch.
A.b. Am 16. Mai 2013 verletzte sich A._ am rechten Handgelenk. Wegen Pangonarthrose liess er sich am 17. April 2014 am Knie links operieren und endoprothetisch versorgen. Vom 17. Mai bis 18. Juni 2015 musste er wegen einer septischen Arthritis am linken Knie stationär behandelt werden.
Mit Verfügung vom 22. September 2016 sprach ihm die IV-Stelle Bern für Juli 2013 eine Viertelsrente, vom 1. August 2013 bis 31. März 2015 eine ganze Rente, vom 1. April bis 31. Juli 2015 eine Viertelsrente, vom 1. August 2015 bis 31. März 2016 eine ganze Rente sowie ab 1. April 2016 eine unbefristete Viertelsrente zu.
B.
Am 21. Oktober 2016 reichte A._ beim Verwaltungsgericht des Kantons Bern Beschwerde ein und beantragte zur Hauptsache, die Verfügung vom 22. September 2016 sei aufzuheben und es sei ihm ab 1. Juli 2013 durchwegs eine volle (richtig: ganze) Invalidenrente zuzusprechen.
In ihrer Vernehmlassung (Eingaben vom 23. November 2016 und 13. Januar 2017) ersuchte die IV-Stelle darum, es sei dem Beschwerdeführer unter Androhung einer Reformatio in peius die Gelegenheit zu geben, seine Beschwerde zurückzuziehen. Bei Festhalten sei die Beschwerde abzuweisen und die Verfügung vom 22. September 2016 aufzuheben, soweit darin ein Rentenanspruch vor Mai 2014 bejaht werde.
Im Rahmen des zweiten Schriftenwechsels hielten die Parteien an ihren Begehren fest.
Mit Entscheid vom 3. Mai 2017 wies die Sozialversicherungsrechtliche Abteilung des bernischen Verwaltungsgerichts die Beschwerde ab.
C.
Die IV-Stelle Bern führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem hauptsächlichen Rechtsbegehren, der Entscheid des kantonalen Verwaltungsgerichts vom 3. Mai 2017 sei aufzuheben und die Sache an dieses zurückzuweisen, damit es dem Versicherten die Gelegenheit gebe, die Beschwerde gegen die Verfügung vom 22. September 2016 zurückzuziehen.
A._ beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde führende IV-Stelle beantragt die Rückweisung der Sache zur Durchführung des Verfahrens nach <ref-law>. Aus der Begründung ergibt sich, dass sie, anders als verfügt, einen Rentenanspruch für die Zeit vom 1. Juli 2013 bis 30. April 2014 verneint, da die Anspruchsvoraussetzung nach <ref-law> erst im Mai 2014 erfüllt gewesen sei, in welchem Sinne sie sich schon in der vorinstanzlichen Vernehmlassung geäussert hatte. Somit liegt ein zulässiges Rechtsbegehren vor (vgl. <ref-ruling> E. 2 S. 340; <ref-ruling> E. 1.2 S. 135 [Interpretation eines Rückweisungsantrags als reformatorisches Begehren]).
1.2. Gemessen an ihren Anträgen im kantonalen Verfahren gilt die IV-Stelle als unterliegende Partei, soweit die Vorinstanz einen Rentenanspruch auch für die Monate Juli 2013 bis und mit April 2014 bejaht hat. Sie ist daher zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt (<ref-law>; <ref-ruling> E. 2.3 S. 341 ff.). Daran ändert nichts, dass der Beschwerdegegner gegebenenfalls die vorinstanzliche Beschwerde zurückziehen würde, "um sich nicht doch noch der drohenden reformatio in peius auszusetzen", sodass sich die von der IV-Stelle angestrebte Schlechterstellung "realistischerweise nicht mehr durchsetzen" lasse, wie er vernehmlassungsweise vorbringt. Dabei verkennt er, dass allenfalls eine Änderung der (rechtskräftigen) Verfügung vom 22. September 2016 im Rahmen einer Wiedererwägung nach <ref-law> in Betracht fällt (<ref-ruling> E. 6 in fine S. 344).
1.3. Die (abgestufte unbefristete) Rente ab 1. Mai 2014 steht ausser Diskussion (<ref-law>).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>).
3.
3.1. Anspruch auf eine Rente haben Versicherte, die u.a. während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens 40 % arbeitsunfähig (<ref-law>) gewesen sind; und nach Ablauf dieses Jahres zu mindestens 40 % invalid (<ref-law>) sind (Art. 28 Abs. 1 lit. b und c IVG). Der Rentenanspruch entsteht frühestens nach Ablauf von sechs Monaten nach Geltendmachung des Leistungsanspruchs nach Art. 29 Absatz 1 ATSG, jedoch frühestens im Monat, der auf die Vollendung des 18. Altersjahres folgt (<ref-law>).
Die Wartezeit nach <ref-law> ist eine materielle Anspruchsvoraussetzung für die Rentenberechtigung, diejenige nach <ref-law> (zum Normzweck <ref-ruling> E. 5.3 S. 7) ist eine solche verfahrensmässiger Natur (formelle Karenzfrist; <ref-ruling> E. 3.2 S. 550).
3.2. Wurde die Rente nach Verminderung des Invaliditätsgrades aufgehoben, erreicht dieser jedoch in den folgenden drei Jahren wegen einer auf dasselbe Leiden zurückzuführenden Arbeitsunfähigkeit erneut ein rentenbegründendes Ausmass, so werden bei der Berechnung der Wartezeit nach Artikel 28 Absatz 1 Buchstabe b IVG früher zurückgelegte Zeiten angerechnet (<ref-law>).
3.2.1. Sinn und Zweck von <ref-law> ist, den Rentenanspruch eines Versicherten, der zwischenzeitlich ein rentenausschliessendes Erwerbseinkommen erzielen konnte, wiederaufleben zu lassen, wenn sich innert dreier Jahre auf Grund des selben Leidens wieder eine höhere Arbeitsunfähigkeit ergibt (<ref-ruling> E. 3b S. 26; Urteil 8C_25/2010 vom 21. Mai 2010 E. 4.1.1; Urteil des Eidg. Versicherungsgerichts I 11/00 vom 22. August 2001 E. 3c-d, in: SVR 2002 IV Nr. 8 S. 19).
3.2.2. In <ref-ruling> E. 3.1 S. 550 hat das Bundesgericht unter Hinweis auf das Urteil 9C_942/2015 vom 18. Februar 2016 E. 3.3.3 erkannt, dass <ref-law> nicht anwendbar ist, wenn nach Ablauf der Wartezeit kein rentenbegründender Invaliditätsgrad vorlag. Diesfalls ist die nachfolgende gesundheitliche Verschlechterung als neuer Versicherungsfall zu betrachten mit der Folge, dass die Wartezeit erneut zu bestehen ist. Im Urteil 9C_942/2015 vom 18. Februar 2016 E. 3.3.3 stand die Wartezeit nach <ref-law> im Fokus, wie der Beschwerdegegner in seiner Vernehmlassung festhält.
4.
4.1. Die Vorinstanz hat erwogen, der Versicherte sei seit dem 24. April 2011 wegen Knie- und Rückenbeschwerden in der angestammten (zuletzt ausgeübten) Tätigkeit als Küchen-Office-Mitarbeiter ununterbrochen zu 50 % arbeitsunfähig gewesen. Die Wartezeit nach <ref-law> sei somit seit langem bestanden gewesen, als er sich am 16. Mai 2013 am rechten Handgelenk verletzte und in der Folge vollständig arbeitsunfähig war, sie habe daher in diesem Zeitpunkt nicht erneut zu laufen begonnen, wie die IV-Stelle annehme. Aufgrund der neuen Anmeldung vom 17. (richtig: 7.) Januar 2013 seit somit der Rentenanspruch im Juli 2013 entstanden (<ref-law>).
4.2. Nach Auffassung der IV-Stelle verletzt diese Sichtweise Bundesrecht (), was sie folgt begründet: Mit rechtskräftiger Verfügung vom 23. Januar 2013 sei ein Rentenanspruch verneint worden. Entgegen der Ansicht der Vorinstanz komme <ref-law> gestützt auf die Rechtsprechung gemäss <ref-ruling> E. 3.1 S. 550 und Urteil 9C_942/2015 vom 18. Februar 2016 E. 3.3.3 gerade nicht zum Zuge. Die gesundheitliche Verschlechterung im Mai 2013 mit Auswirkungen auf die Arbeitsfähigkeit stelle somit einen neuen Versicherungsfall dar mit der Folge, dass die Wartezeit nach <ref-law> erneut zu bestehen war und frühestens im Mai 2014 endete.
4.3. Das Gesetz macht keine Vorgaben betreffend den Beginn oder das Ende der Wartezeit nach <ref-law>. Es genügt eine Arbeitsunfähigkeit von durchschnittlich mindestens 40 % ohne wesentlichen Unterbruch während eines Jahres. Diese Voraussetzung war im vorliegenden Fall am 23. April 2012 und aufgrund der andauernden Arbeitsunfähigkeit von 50 % im zuletzt ausgeübten Beruf in jedem späteren Zeitpunkt, auch nach der rentenablehnenden Verfügung vom 23. Januar 2013, gegeben. Die Verneinung eines Rentenanspruchs aufgrund eines Invaliditätsgrades von (deutlich) weniger als 40 % (<ref-law>) ist lediglich insofern von Bedeutung, als bis dahin die Anspruchsvoraussetzung nach <ref-law> nicht erfüllt war und in Bezug auf eine Neuanmeldung aus wie hier anderen Gründen als denjenigen, welche zur Arbeitsunfähigkeit von 50 % im bisherigen Beruf führten, <ref-law> galt (vgl. <ref-ruling> a fortiori).
Im Zeitpunkt der Verschlechterung des Gesundheitszustandes im Mai 2013 war somit das Wartezeiterfordernis nach <ref-law> erfüllt. Aufgrund nunmehr vollständiger Arbeitsunfähigkeit auch in Tätigkeiten in einem anderen Beruf (<ref-law>) bestand ein Invaliditätsgrad von 100 %, sodass auch die Anspruchsvoraussetzung nach <ref-law> gegeben war. Die Entstehung des Rentenanspruchs im Juli 2013 und der Rentenbeginn am 1. Juli 2013 (Art. 29 Abs. 1 und 3 IVG) sind unbestritten. Die Beschwerde ist somit unbegründet.
5.
Ausgangsgemäss hat die Beschwerdeführerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdegegner eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Oktober 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Fessler