Sachverhalt: A. A.a. Der 1959 geborene A._ meldete sich im August 2010 unter Hinweis auf Knieprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach einer arbeitsmarktlich-medizinischen Abklärung vom 24. September bis 19. Oktober 2012 ersuchte er am 7. Januar 2013 um Zusprechung von Arbeitsvermittlung, welche ihm in Form von Beratung und Unterstützung bei der Stellensuche gewährt wurde. Mit Verfügung vom 23. Januar 2013 verneinte die IV-Stelle Bern einen Rentenanspruch. A.b. Am 16. Mai 2013 verletzte sich A._ am rechten Handgelenk. Wegen Pangonarthrose liess er sich am 17. April 2014 am Knie links operieren und endoprothetisch versorgen. Vom 17. Mai bis 18. Juni 2015 musste er wegen einer septischen Arthritis am linken Knie stationär behandelt werden. Mit Verfügung vom 22. September 2016 sprach ihm die IV-Stelle Bern für Juli 2013 eine Viertelsrente, vom 1. August 2013 bis 31. März 2015 eine ganze Rente, vom 1. April bis 31. Juli 2015 eine Viertelsrente, vom 1. August 2015 bis 31. März 2016 eine ganze Rente sowie ab 1. April 2016 eine unbefristete Viertelsrente zu. B. Am 21. Oktober 2016 reichte A._ beim Verwaltungsgericht des Kantons Bern Beschwerde ein und beantragte zur Hauptsache, die Verfügung vom 22. September 2016 sei aufzuheben und es sei ihm ab 1. Juli 2013 durchwegs eine volle (richtig: ganze) Invalidenrente zuzusprechen. In ihrer Vernehmlassung (Eingaben vom 23. November 2016 und 13. Januar 2017) ersuchte die IV-Stelle darum, es sei dem Beschwerdeführer unter Androhung einer Reformatio in peius die Gelegenheit zu geben, seine Beschwerde zurückzuziehen. Bei Festhalten sei die Beschwerde abzuweisen und die Verfügung vom 22. September 2016 aufzuheben, soweit darin ein Rentenanspruch vor Mai 2014 bejaht werde. Im Rahmen des zweiten Schriftenwechsels hielten die Parteien an ihren Begehren fest. Mit Entscheid vom 3. Mai 2017 wies die Sozialversicherungsrechtliche Abteilung des bernischen Verwaltungsgerichts die Beschwerde ab. C. Die IV-Stelle Bern führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem hauptsächlichen Rechtsbegehren, der Entscheid des kantonalen Verwaltungsgerichts vom 3. Mai 2017 sei aufzuheben und die Sache an dieses zurückzuweisen, damit es dem Versicherten die Gelegenheit gebe, die Beschwerde gegen die Verfügung vom 22. September 2016 zurückzuziehen. A._ beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.