Sachverhalt: A. A._, geboren 1967, bezog für seine beiden minderjährigen Kinder seit 2009 Familienzulagen als Nichterwerbstätiger von je Fr. 200.- pro Monat, wobei die Leistungen der Jahre 2009 und 2010 direkt dem Sozialamt seiner Wohngemeinde ausgerichtet wurden. Die Familienausgleichskasse bestätigte ihm verfügungsweise am 21. Januar 2011 und am 19. Januar 2012 für diese beiden Jahre die Leistungszusprechung. Mit Verfügung vom 17. Dezember 2010 erhielt A._ rückwirkend ab 1. Dezember 2007 Ergänzungsleistungen zur AHV/IV zugesprochen. Nachdem die Familienausgleichskasse diesen Umstand am 3. Dezember 2012 festgestellt hatte, forderte sie mit Verfügung vom 13. Dezember 2012 in der Zeit vom 1. Januar 2011 bis 31. Dezember 2012 zu viel ausbezahlte Familienzulagen in der Höhe von Fr. 9'600.- von A._ zurück, da er hierauf als Bezüger von Ergänzungsleistungen keinen Anspruch habe. Mit Eingabe vom 8. Januar 2013 erhob A._ unter anderem "Einsprache gegen SVA-Verfügung vom 13. Dezember 2012". Mit Schreiben vom 11. Januar 2013 dankte ihm die Ausgleichskasse für sein "Erlassgesuch vom 9. Januar 2013", welches sie, sobald die Rückforderungsverfügung rechtskräftig sei, behandeln werde. Mit Verfügung vom 21. Januar 2013 wies sie die als Erlassgesuch behandelte Eingabe vom 8. Januar 2013 ab. Gegen die Verfügung vom 21. Januar 2013 erhob der Versicherte am 15. Februar 2013 Einsprache, womit er unter Berufung der Forderungsverwirkung "den Rückzug der Forderung im Betrag von Fr. 9'500.- bzw. einen Vollerlass" beantragte. Der nunmehr anwaltlich vertretene A._ liess am 23. Juli 2013 präzisierend ausführen, die Eingabe vom 8. Januar 2013 sei nicht einzig als Erlassgesuch, sondern auch als Einsprache gegen die Rückforderungsverfügung zu verstehen, weshalb sich die Familienausgleichskasse nun mit der Verwirkungsfrage auseinanderzusetzen und über die Einsprache zu entscheiden habe. Die Familienausgleichskasse behandelte, dem Einwand entsprechend, in ihrem Einspracheentscheid vom 28. Oktober 2013 die Eingabe vom 8. Januar 2013 als Einsprache, wies diese jedoch ab. B. Das Versicherungsgericht des Kantons St. Gallen wies die dagegen geführte Beschwerde mit Entscheid vom 6. Oktober 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei der vorinstanzliche Entscheid aufzuheben und das kantonale Gericht anzuweisen, die Rückforderung materiell zu prüfen. Die Rückforderungsverfügung sei infolge ihrer Verwirkung aufzuheben. Ferner wird um unentgeltliche Prozessführung ersucht. Das Versicherungsgericht des Kantons St. Gallen schliesst auf Abweisung der Beschwerde. Die Familienausgleichskasse des Kantons St. Gallen und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.