Sachverhalt: A. Der 1977 geborene M._ ist kosovarischer Staatsangehöriger und wohnt in Kosovo. Von Mai 2003 bis Januar 2005 hatte er im Hotel X._ gearbeitet und obligatorische Beiträge an die schweizerische Alters-, Hinterlassenen- und Invalidenversicherung (AHV/IV) geleistet. Mit einem vom 18. Mai 2008 datierten Antragsformular (Eingang: 3. Juni 2010) ersuchte er die Schweizerische Ausgleichskasse (nachfolgend: SAK) um Rückvergütung der AHV-Beiträge. Diese verfügte am 16. August 2010 einen Rückvergütungsbetrag von Fr. 2'409.-. In der Folge beantragte M._ einspracheweise die Neuberechnung des Rückvergütungsbetrags, eventualiter wolle er seine Altersrente abwarten. Mit Einspracheentscheid vom 28. Juli 2011 hielt die SAK fest, dass M._ von der ihm mit Schreiben vom 22. Juni 2011 eröffneten Möglichkeit der Rückgängigmachung der Rückvergütung - durch Rückerstattung des Rückvergütungsbetrags an die SAK - keinen Gebrauch gemacht habe. Ferner sei der Rückvergütungsbetrag ordnungsgemäss und nach den einschlägigen Gesetzesbestimmungen berechnet worden. B. Das Bundesverwaltungsgericht hiess die dagegen erhobene Beschwerde mit dem sinngemässen Antrag auf Aufhebung des angefochtenen Entscheides sowie Neuberechnung des Rückvergütungsbetrags und eventualiter der Ausrichtung einer monatlichen Altersrente teilweise gut, hob den Einspracheentscheid vom 28. Juli 2011 auf und wies das Gesuch von M._ um Rückvergütung der AHV-Beiträge ab (Entscheid vom 4. Juli 2012). In der Begründung führte es aus, dass das zwischen der Schweiz und dem ehemaligen Jugoslawien abgeschlossene Sozialversicherungsabkommen auf kosovarische Staatsangehörige weiter anwendbar sei und daher kein Rückvergütungsanspruch bestehe, wobei der Beschwerdeführer auf die Möglichkeit hingewiesen wurde, nach Erreichen des Rentenalters bei der SAK die Ausrichtung einer Altersrente zu beantragen. C. Die SAK erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der Entscheid vom 4. Juli 2012 sei aufzuheben und der Einspracheentscheid vom 28. Juli 2011 zu bestätigen. Das Bundesamt für Sozialversicherungen (BSV) schliesst auf Gutheissung der Beschwerde. M._ und das Bundesverwaltungsgericht verzichten auf eine Vernehmlassung. D. In Bezug auf die Rechtsfrage, ob das zwischen der Schweiz und dem ehemaligen Jugoslawien abgeschlossene Sozialversicherungsabkommen nach dem 1. April 2010 weiterhin auf kosovarische Staatsangehörige anzuwenden ist, ist zwischen den sozialrechtlichen Abteilungen das Verfahren gemäss Art. 23 Abs. 2 BGG durchgeführt worden.