Sachverhalt: A. Die A._ AG ist der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) im Rahmen der Familienzulagen als Arbeitgeberin angeschlossen. B._ war ab 1. Juni 2005 bei der A._ AG tätig und bezog für seine beiden Söhne (geboren im Jahr 2007) Familienzulagen. Anlässlich von administrativen Abklärungen wurde festgestellt, dass B._, welcher von 3. Januar 2011 bis 1. Januar 2013 krankgeschrieben war, ab 1. Mai 2011 die Familienzulagen zu Unrecht erhalten hatte. Die Ausgleichskasse forderte mit Nachtragsrechnung vom 18. März 2013 bei der A._ AG die zu viel bezahlten Familienzulagen von insgesamt Fr. 3'680.- zurück. Dies bestätigte sie mit Verfügung vom 3. April 2013 resp. mit Einspracheentscheid vom 17. Juni 2013. B. Das Verwaltungsgericht des Kantons Bern wies die von der A._ AG dagegen erhobene Beschwerde mit Entscheid vom 4. Oktober 2013 ab. C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Neubeurteilung im Sinne der Begründung zurückzuweisen. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Die A._ AG verzichtet auf eine Stellungnahme.