Sachverhalt:
A.
Der 1947 geborene A._ bezog seit dem 1. November 2015 Ergänzungsleistungen (EL) zu einer Rente der Alters- und Hinterlassenenversicherung (AHV). Mit Verfügung vom 24. Juni 2019 stellte die Ausgleichskasse des Kantons Bern die bisher ausgerichteten EL auf den 1. Juli 2019 hin ein mit der Begründung, A._ habe am 19. März 2019 mitgeteilt, dass er auf den 1. Januar 2019 hin in den Kanton Wallis umgezogen sei. Die dagegen erhobene Einsprache wies die Ausgleichskasse mit Entscheid vom 11. März 2020 ab und erwog, dass aufgrund des Wohnsitzwechsels neu der Kanton Wallis für die Festsetzung und Ausrichtung der EL zuständig sei.
B.
Die von A._ dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 10. September 2020 gut. Es hob den Einspracheentscheid vom 11. März 2020 auf und stellte fest, dass der Kanton Bern für die Festsetzung und die Auszahlung der Ergänzungsleistungen zuständig sei. Es wies die Sache an die Ausgleichskasse zurück, damit diese über den Anspruch des A._ auf Ergänzungsleistungen ab dem 1. Juli 2019 neu verfüge.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die Ausgleichskasse, der vorinstanzliche Entscheid sei aufzuheben und der Einspracheentscheid vom 11. März 2020 sei zu bestätigen.

Erwägungen:
1.
Beim angefochtenen vorinstanzlichen Entscheid handelt es sich aufgrund der dispositivmässigen Verpflichtung der Ausgleichskasse zur materiellen Prüfung des EL-Anspruchs ab dem 1. Juli 2019 und neuer Verfügung um einen Rückweisungsentscheid und damit um einen selbstständig eröffneten Zwischenentscheid im Sinne von <ref-law>. Die für eine selbstständige Anfechtung erforderliche Voraussetzung des nicht wiedergutzumachenden Nachteils im Sinne von lit. a dieser Bestimmung ist erfüllt, da die Ausgleichskasse gezwungen wird, entgegen ihrer Rechtsauffassung eine neue Verfügung zu erlassen (<ref-ruling> E. 5.2 S. 483; Urteil 8C_79/2010 vom 24. September 2010 E. 2, nicht publ. in: <ref-ruling>; Urteil 8C_682/2007 vom 30. Juli 2008 E. 1, nicht publ. in: <ref-ruling>).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
3.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie aufgrund der Annahme, der zivilrechtliche Wohnsitz des Beschwerdegegners liege weiterhin im Kanton Bern, die Ausgleichskasse des Kantons Bern für die Festsetzung und Auszahlung der EL ab 1. Juli 2019 als zuständig erachtete.
4.
4.1. Gemäss kantonalem Gericht habe der Beschwerdegegner mehrfach mitgeteilt, seine Schriften einzig und allein wegen der Nutzungsbewilligung für sein "Ferienhaus" aufgrund der "Zweitwohnungsinitiative" verlegt zu haben. Weiter stellte die Vorinstanz fest, die Verlegung der Schriften habe offensichtlich einem Sonderzweck gedient, der nicht mit dem Willen, einen Wohnsitz für den dauernden Verbleib zu begründen, identisch sei. Auch die übrigen erkennbaren Umstände liessen auf den Lebensmittelpunkt im Kanton Bern schliessen. So lebe der Beschwerdegegner in ungetrennter Ehe mit seiner Frau in einer Eigentumswohnung in X._/BE, wo er im Monat durchschnittlich drei Wochenende und nur eines in Y._/VS verbringe. Die erwachsenen Kinder des Beschwerdegegners würden unweit von X._ im Kanton Bern bzw. im Kanton Neuenburg wohnen. Auch scheine nach der Verlegung der Schriften nach Y._ auf den 1. Januar 2019 hin keine Änderung der Postadresse stattgefunden zu haben, da der Beschwerdegegner zahlreiche Korrespondenzen weiterhin von X._ geführt habe und auch auf der Beschwerdeschrift jene Adresse aufgeführt sei. Die Absicht, seine Postadresse in X._ zu belassen, habe der Beschwerdegegner auch gegenüber der Ausgleichskasse erklärt. Ebenfalls liege sein steuerrechtlicher Wohnsitz aufgrund persönlicher Zugehörigkeit weiterhin im Kanton Bern. Schliesslich sei zu beachten, dass für die Niederlassung in einer Gemeinde im Kanton Wallis (nur) die Hinterlegung eines Heimatscheines (oder eines ähnlichen Zivilstandsdokumentes) zwingend vorgeschrieben sei. Es könne deshalb nicht schon aufgrund der Tatsache, dass die Gemeinde Y._ die Verlegung der Schriften nicht beanstandet habe, geschlossen werden, dass der zivilrechtliche Wohnsitz tatsächlich in Y._ liege.
4.2. Die Ausgleichskasse bringt vor, das kantonale Gericht habe Bundesrecht - namentlich Art. 21 Abs. 1 ELG - verletzt, indem es den Kanton Bern für die Festsetzung und die Auszahlung der Ergänzungsleistungen als zuständig erachtet habe, obwohl der Beschwerdegegner seinen zivilrechtlichen Wohnsitz in den Kanton Wallis verlegt habe.
5.
5.1. Zuständig für die Festsetzung und die Auszahlung der Ergänzungsleistung ist der Kanton, in dem die Bezügerin oder der Bezüger Wohnsitz hat (Art. 21 Abs. 1 ELG). Der im Rahmen des EL-Rechts massgebende Wohnsitz einer Person bestimmt sich gemäss <ref-law> in Verbindung mit Art. 1 Abs. 1 ELG nach den Art. 23-26 ZGB. Der zivilrechtliche Wohnsitz einer Person befindet sich an dem Ort, wo sie sich mit der Absicht dauernden Verbleibens aufhält (<ref-law>). Für die Begründung des Wohnsitzes müssen somit zwei Merkmale erfüllt sein: ein objektives äusseres, der Aufenthalt, sowie ein subjektives inneres, die Absicht dauernden Verbleibens (<ref-ruling> E. 3.1 S. 312 mit Hinweisen). Bei der Festlegung des Wohnsitzes geht es darum, festzustellen, wo eine Person ihre intensivsten familiären, gesellschaftlichen und beruflichen Beziehungen unterhält, wobei die gesamten Lebensumstände eine Rolle spielen (<ref-ruling> E. 4.3 S. 410; <ref-ruling> E. 5.1 S. 249). Deshalb wird der Wohnsitz nach Lehre und Rechtsprechung durch den Lebensmittelpunkt einer Person bestimmt, mithin nach ihrem tatsächlichen Verhalten, weshalb die blosse Absicht nicht ausreicht (Urteil 9C_1056/2010 vom 21. März 2011 E. 4 mit Hinweisen auf die Literatur). Unbeachtlich ist dagegen grundsätzlich das Motiv des Aufenthalts bzw. der Absicht dauernden Verbleibens (HEINZ HAUSHEER/REGINA E. AEBI-MÜLLER, Das Personenrecht des Schweizerischen Zivilgesetzbuches, 5. Aufl., 2020, S. 119).
5.2.
5.2.1. Die sich im vorliegenden Fall stellende Frage nach dem zivilrechtlichen Wohnsitz ist im Rahmen der EL mit Blick auf das Gesagte (vgl. E. 5.1 oben) unabhängig vom Bundesgesetz über Zweitwohnungen (ZWG; SR 702) zu beurteilen. Es ist hier nicht Sache der Ausgleichskasse, ein von ihr dem Beschwerdegegner vorgeworfenes missbräuchliches Verhalten gemäss ZWG im EL-Verfahren zu "sanktionieren". Mithin ist auf sämtliche Rügen der Ausgleichskasse im Zusammenhang mit dem ZWG wie auch dem Bundesgesetz über die Harmonisierung der Einwohnerregister und anderer amtlicher Personenregister (Registerharmonisierungsgesetz, RHG; SR 431.02) nicht weiter einzugehen.
5.2.2. Dass die Sachverhaltsfeststellungen des kantonalen Gerichts offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein sollen, wird von der Ausgleichskasse nicht (substanziiert) geltend gemacht, weshalb sie für das Bundesgericht verbindlich sind (E. 2).
5.2.3. Der Beschwerdegegner verlegte zwar seine Schriften nach Y._. Der Ort der Hinterlegung ist für den zivilrechtlichen Wohnsitz aber grundsätzlich nicht (allein) massgebend (<ref-ruling> E. 3.3 S. 313 mit Hinweis auf <ref-ruling> E. 2c S. 241; PETER BREITSCHMID, in: Handkommentar zum Schweizerischen Privatrecht, Breitschmid/Jungo [Hrsg.], 3. Aufl. 2016, N. 3 zu <ref-law>). So kam die Vorinstanz mit Blick auf die für das Bundesgericht verbindlichen Feststellungen (E. 4.1) bundesrechtskonform zum Schluss, dass der zivilrechtliche Wohnsitz des Beschwerdegegners weiterhin im Kanton Bern liegt und die Ausgleichskasse des Kantons Bern für die Festsetzung und die Auszahlung der EL zuständig ist. Inwiefern hier eine vergleichbare Situation wie in Urteil 9C_423/2013 vom 26. August 2014 E. 4.2 vorliegen soll, ist weder ersichtlich noch wird dies von der Ausgleichskasse dargetan.
6.
Die Beschwerde ist unbegründet. Es bleibt beim vorinstanzlichen Entscheid.
7.
Die Gerichtskosten werden der Ausgleichskasse als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. April 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber