Sachverhalt: A. Der verheiratete A._ wurde 2012 zum zweiten Mal Vater und bezog in der Folge drei Wochen Urlaub, wovon ihm drei Tage gemäss den internen Richtlinien seiner Arbeitgeberfirma für die Vaterschaft zugesprochen worden waren. Den Rest bezog A._ zu Lasten seines Ferien- und Überzeitkontos und vereinbarte mit der Arbeitgeberin, zu einem späteren Zeitpunkt (im Frühjahr 2013) weitere vier Wochen Urlaub zu beziehen, um die Eingewöhnung seines Sohnes in der Kinderkrippe sicherstellen zu können. Am 3. September 2012 stellte er bei der AHV-Zweigstelle der Stadt Bern ein Gesuch um "Elternschaftsentschädigung gemäss EOG" für einen "Elternurlaub" von sechs Wochen. Die Arbeitgeberfirma des A._ unterstützte dieses Gesuch mit einem gleichentags verfassten Schreiben und beantragte die Deckung des "Erwerbsausfall[s] von A._ zu dem Prozentsatz, welcher den weiblichen Angestellten gewährt wird". Mit Verfügung vom 25. September 2012 verneinte die Ausgleichskasse des Kantons Bern einen Anspruch auf Erwerbsersatzentschädigung. Daran hielt sie mit Einspracheentscheid vom 28. Januar 2013 fest. B. Die hiegegen erhobene Beschwerde des A._ wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit einzelrichterlichem Urteil vom 17. Oktober 2013 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheides, die Zusprechung einer Erwerbsersatzentschädigung für sechs Wochen Vaterschaftsurlaub und die Rückweisung der Sache an das kantonale Gericht bzw. an die Ausgleichskasse zur Festsetzung der konkreten Entschädigung. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen schliessen auf Abweisung der Beschwerde, Erstere unter Bezugnahme auf eine Stellungnahme der AHV-Zweigstelle der Stadt Bern.