Sachverhalt:
A.
Der 1963 geborene A._ wohnt mit der 1969 geborenen B._ in X._ ZH in einem Konkubinat. Dieser Verbindung entsprang am 12. April 2008 das gemeinsame Kind C._, welches von seinem Vater am 12. Dezember 2008 anerkannt wurde. Die Vormundschaftsbehörde X._ stimmte am 10. März 2009 einer Vereinbarung der beiden Eltern von C._ über die gemeinsame elterliche Sorge zu. Am 7. Oktober 2011 wurde D._ geboren, A._ anerkannte seine Vaterschaft auch bezüglich dieses Kindes. Mit Verfügung vom 30. August 2013 stimmte die Kindes- und Erwachsenenschutzbehörde des Bezirks Y._ der gemeinsamen elterlichen Sorge für beide Kinder zu.
Am 20. Juli 2012 beantragte A._ bei der Familienausgleichskasse Zug (FAK) rückwirkend ab 12. April 2008 resp. 7. Oktober 2011 Kinderzulagen für seine beiden Kinder. Auf Aufforderung hin reichte er sowohl die Geburtsurkunden für die beiden Kinder sowie eine Aufstellung über die Erwerbstätigkeit von B._ ein, liess der FAK aber trotz mehrmaliger Aufforderung keine Sorgerechtsvereinbarung zukommen. Mit Verfügungen vom 13. und 14. Januar 2014 und Einspracheentscheid vom 8. Mai 2014 sprach die FAK A._ für die Zeit vom 1. April 2008 bis 31. Dezember 2012 (für C._) resp. für die Zeit vom 1. Oktober 2011 bis 31. Dezember 2012 (für D._) Kinderzulagen zu, dies jedoch für die Zeiten vom 1. April bis 31. Juli 2008, vom 27. März bis 31. Mai 2009 und vom 1. Oktober 2010 bis 12. Januar 2012 als Differenzzulage zu der B._ in dieser Zeit zustehenden Zulagen der Kantone Aargau (für die Jahre 2008 und 2009) und Zürich (für die Jahre 2010 bis 2012).
B.
Die von A._ hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zug mit Entscheid vom 18. September 2014 in dem Sinne teilweise gut, als es feststellte, der Beschwerdeführer habe auch für die Zeit vom 27. März bis 31. Mai 2009 einen primären Anspruch auf Kinderzulagen im Kanton Zug. Im Übrigen wies es die Beschwerde ab.
C.
Mit Beschwerde beantragt A._ sinngemäss, ihm oder der Mutter seiner Kinder sei unter Aufhebung des Einsprache- und des kantonalen Gerichtsentscheides für die Zeit von Geburt der Kinder bis 31. Dezember 2012 ungekürzte Kinderzulagen auszurichten. Zudem sei die FAK zu verpflichten, auf Anträge der versicherten Person innert 30 Tagen zu antworten.

Erwägungen:
1.
1.1. Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen und zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> E. 2.1, 125 V 412 E. 1a S. 414 mit Hinweisen). Da die angefochtenen Verfügungen lediglich die Ansprüche des Versicherten, nicht aber jene der Mutter seiner Kinder regelt, ist auf die Beschwerde, soweit in ihr sinngemäss Kinderzulagen an B._ verlangt werden, nicht einzutreten.
1.2. Wie die Vorinstanz zutreffend erwogen hat, besteht keine gesetzliche Grundlage dafür, die Beschwerdegegnerin zu verpflichten, auf Anträge der versicherten Person innert 30 Tagen zu antworten. Soweit auf den entsprechenden Antrag des Beschwerdeführers überhaupt eingetreten werden kann, ist dieser abzuweisen.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3.
Es steht fest und ist unbestritten, dass der Beschwerdeführer in der Zeit vom 1. April 2008 bis 31. Dezember 2012 (für C._) resp. für die Zeit vom 1. Oktober 2011 bis 31. Dezember 2012 (für D._) Anspruch auf Kinderzulagen hat. Streitig und zu prüfen ist demgegenüber, ob diese in der Zeit vom 1. April bis 31. Juli 2008 und vom 1. Oktober 2010 bis 12. Januar 2012 als Differenzzulage zu der B._ in dieser Zeit zustehenden Zulagen der Kantone Aargau (für die Jahre 2008) und Zürich (für die Jahre 2010 bis 2012) auszubezahlen sind, oder ob der Beschwerdeführer auch für diese Zeiten einen Anspruch auf volle Kinderzulagen hat.
4.
4.1. Familienzulagen sind einmalige oder periodische Geldleistungen, die ausgerichtet werden, um die finanzielle Belastung durch ein oder mehrere Kinder teilweise auszugleichen (Art. 2 FamZG). Für das gleiche Kind wird gemäss Art. 6 FamZG nur eine Zulage derselben Art ausgerichtet. Die Differenzzahlung nach Art. 7 Abs. 2 FamZG bleibt vorbehalten. Haben mehrere Personen für das gleiche Kind Anspruch auf Familienzulagen nach eidgenössischem oder kantonalem Recht, so steht der Anspruch gemäss der in Art. 7 Abs. 1 FamZG festgelegten Reihenfolge zu.
4.2. Sind beide Elternteile erwerbstätig, so stehen gemäss Art. 7 Abs. 1 lit. b FamZG die Kinderzulagen der Person zu, welche die elterliche Sorge hat. Dabei ist es entgegen den Vorbringen des Beschwerdeführers - jedenfalls bei vor dem 1. Juli 2014 geborenen Kindern - nicht diskriminierend, bei unverheirateten Eltern das Sorgerecht der Mutter zu vermuten, betreffend das Sorgerecht des Vaters jedoch einen Nachweis zu verlangen. Art. 298 Abs. 1 aZGB in der bis zum 30. Juni 2014 gültig gewesenen Fassung sah nämlich vor, dass die Mutter das Sorgerecht kraft Gesetzes bei der Geburt erwarb, während es zur Begründung des Sorgerechts des Vaters eines behördlichen Entscheides bedurfte (vgl. Art. 298 Abs. 3 oder Art. 298a Abs. 1 aZGB).
4.3. Rechtsprechungsgemäss gilt Art. 7 Abs. 1 FamZG bereits ab dem Zeitpunkt des Entstehens des Lohnanspruches (<ref-ruling> E. 4.2 S. 432 f.). Dies bedeutet, dass bei mehreren anspruchsberechtigten Personen kein Wahlrecht besteht, wer von ihnen die Zulagen beziehen soll. Demnach hat die Vorinstanz zu Recht in jenen Zeiten, in denen der Beschwerdeführer nach Art. 7 Abs. 1 FamZG nicht die primär anspruchsberechtigte Person war, ihm lediglich eine Differenzzulage im Sinne von Art. 7 Abs. 2 FamZG zugesprochen, ohne zu untersuchen, ob die erstanspruchsberechtigte Person ihre Zulage tatsächlich bezogen hat. Soweit die Jahre 2010 bis 2012 betreffend, ist die Beschwerde demnach abzuweisen.
4.4. Das kantonale Gericht ging weiter davon aus, dass nicht nur nach Art. 7 Abs. 1 FamZG kein solches Wahlrecht besteht, sondern dass bereits die kantonalrechtliche Regelung, welche bis zum Inkrafttreten des FamZG am 1. Januar 2009 galt, zwingend war. Der Beschwerdeführer bringt nichts vor, was diese Annahme bundesrechtswidrig erscheinen liesse. Entsprechend ist seine Beschwerde auch für das Jahr 2008 abzuweisen.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Dezember 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Nabold