Sachverhalt:
Sachverhalt:
A. M._, geboren 1931, bezog ab 1. Juni 1994 Zusatzleistungen zur AHV/IV. Nachdem das Amt für Zusatzleistungen (AZL) entdeckt hatte, dass er in Portugal über ein Bankkonto mit einem Saldo von Fr. 143'750.- (Stand 1999) verfügte, stellte es die Ausrichtung der Zusatzleistungen mit in Rechtskraft erwachsener Verfügung vom 20. September 2000 ab 1. Juli 1999 ein, forderte von ihm die seit Juni 1994 zu Unrecht bezogenen Leistungen im Betrag von Fr. 43'092.- zurück und wies gleichzeitig ein Erlassgesuch ab. Ein daraufhin eingeleitetes Betreibungsverfahren führte am 24. März 2003 zu einem Verlustschein. Mit rechtskräftigem Entscheid vom 31. Oktober 2003 stellte das Sozialversicherungsgericht des Kantons Zürich fest, dass M._ aufgrund der Rückerstattungsverfügung verpflichtet ist, dem AZL Fr. 43'092.- zurückzuerstatten. Am 20. Oktober 2004 verfügte die Ausgleichskasse in Gutheissung des entsprechenden Gesuches des AZL, die Rückerstattungsforderung werde mit der laufenden Altersrente von M._ von Fr. 1'485.- im Betrag von monatlich Fr. 500.- verrechnet. Daran hielt sie mit Einspracheentscheid vom 28. Dezember 2005 fest.
A. M._, geboren 1931, bezog ab 1. Juni 1994 Zusatzleistungen zur AHV/IV. Nachdem das Amt für Zusatzleistungen (AZL) entdeckt hatte, dass er in Portugal über ein Bankkonto mit einem Saldo von Fr. 143'750.- (Stand 1999) verfügte, stellte es die Ausrichtung der Zusatzleistungen mit in Rechtskraft erwachsener Verfügung vom 20. September 2000 ab 1. Juli 1999 ein, forderte von ihm die seit Juni 1994 zu Unrecht bezogenen Leistungen im Betrag von Fr. 43'092.- zurück und wies gleichzeitig ein Erlassgesuch ab. Ein daraufhin eingeleitetes Betreibungsverfahren führte am 24. März 2003 zu einem Verlustschein. Mit rechtskräftigem Entscheid vom 31. Oktober 2003 stellte das Sozialversicherungsgericht des Kantons Zürich fest, dass M._ aufgrund der Rückerstattungsverfügung verpflichtet ist, dem AZL Fr. 43'092.- zurückzuerstatten. Am 20. Oktober 2004 verfügte die Ausgleichskasse in Gutheissung des entsprechenden Gesuches des AZL, die Rückerstattungsforderung werde mit der laufenden Altersrente von M._ von Fr. 1'485.- im Betrag von monatlich Fr. 500.- verrechnet. Daran hielt sie mit Einspracheentscheid vom 28. Dezember 2005 fest.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. April 2007 ab.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. April 2007 ab.
C. M._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, von einer Verrechnung der Altersrente mit der Rückforderung abzusehen. Eventualiter sei die Ausgleichskasse zu verpflichten, zusätzliche Abklärungen über sein Einkommen sowie das Bankkonto in Portugal zu treffen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege und zwar sowohl für das Einsprache- als auch die Beschwerdeverfahren vor Vorinstanz und vor Bundesgericht.
C. M._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, von einer Verrechnung der Altersrente mit der Rückforderung abzusehen. Eventualiter sei die Ausgleichskasse zu verpflichten, zusätzliche Abklärungen über sein Einkommen sowie das Bankkonto in Portugal zu treffen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege und zwar sowohl für das Einsprache- als auch die Beschwerdeverfahren vor Vorinstanz und vor Bundesgericht.
D. Das Bundesgericht wies das Gesuch um unentgeltlichen Rechtspflege mit Beschluss vom 2. November 2007 ab.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegeneheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegeneheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
2. Streitig und zu prüfen ist, ob monatlich je Fr. 500.- der laufenden AHV-Rente mit der Rückerstattungsschuld von Fr. 43'092.- verrechnet werden dürfen.
2. Streitig und zu prüfen ist, ob monatlich je Fr. 500.- der laufenden AHV-Rente mit der Rückerstattungsschuld von Fr. 43'092.- verrechnet werden dürfen.
3. Das kantonale Gericht hat die bei der Verrechnung der Rückforderungen von Ergänzungsleistungen mit fälligen Leistungen der AHV anwendbaren Bestimmungen (Art. 27 Abs. 2 ELV in Verbindung mit <ref-law>) und die dabei zu beachtenden Grundsätze (<ref-ruling> E. 1 S. 252) zutreffend dargelegt. Richtig wiedergegeben sind auch die Tragweite des Untersuchungsgrundsatzes (<ref-law>; <ref-ruling> E. 3b S. 264) und der korrelierenden Mitwirkungspflichten der Parteien (<ref-ruling> E. 2 S. 195; <ref-ruling> E. 1a S. 158; vgl. <ref-ruling> E. 3.2 S. 183).
3. Das kantonale Gericht hat die bei der Verrechnung der Rückforderungen von Ergänzungsleistungen mit fälligen Leistungen der AHV anwendbaren Bestimmungen (Art. 27 Abs. 2 ELV in Verbindung mit <ref-law>) und die dabei zu beachtenden Grundsätze (<ref-ruling> E. 1 S. 252) zutreffend dargelegt. Richtig wiedergegeben sind auch die Tragweite des Untersuchungsgrundsatzes (<ref-law>; <ref-ruling> E. 3b S. 264) und der korrelierenden Mitwirkungspflichten der Parteien (<ref-ruling> E. 2 S. 195; <ref-ruling> E. 1a S. 158; vgl. <ref-ruling> E. 3.2 S. 183).
4. 4.1 Der Beschwerdeführer stellt nicht in Abrede, dass die monatliche Verrechnung von Fr. 500.- den betreibungsrechtlichen Notbedarf nicht beeinträchtigen würde, falls er über das Vermögen in Portugal verfügen könnte. Die Vorinstanz hat zunächst als erstellt erachtet, dass im September 1998 bei der Bank X._ in Portugal auf den Namen des Beschwerdeführers lautend ein Konto mit einem Saldo von rund Fr. 143'750.- existierte. Dies wird vom Beschwerdeführer nicht bestritten. Er macht vielmehr geltend, er könne darüber nicht verfügen. Das kantonale Gericht hat indessen in einlässlicher Würdigung der Aktenlage und durchaus unter Berücksichtigung der erhobenen Einwände festgestellt, dass diese Behauptung unglaubhaft sei und er damit zum Zeitpunkt des Einspracheentscheides über ein namhaftes Vermögen habe verfügen können. Der Beschwerdeführer bringt nichts vor, was diese Feststellung als bundesrechtswidrig erscheinen liesse. Soweit er im Verfahren vor dem Bundesgericht grösstenteils die bereits vom kantonalen Gericht entkräfteten Einwendungen - fast wörtlich - wiederholt, kann auf die in allen Teilen zutreffenden Erwägungen im angefochtenen Entscheid verwiesen werden. In der Tat ist es in Übereinstimmung mit dem kantonalen Gericht nicht plausibel, während Jahren auf ein auf den eigenen Namen lautendes Konto nicht zugreifen zu können. Ebenso wenig glaubhaft ist, dass eine Bank dem Kontoinhaber über Jahre hinweg Informationen darüber verweigert. Die entsprechende Behauptung erscheint umso weniger glaubhaft, als der Beschwerdeführer nie ein schlüssiges Beweismittel ins Recht legen konnte, wonach die Bank eine Auskunft oder den Zugriff auf das Konto verweigert hätte. Ebenfalls nicht nachvollziehbar ist, weshalb er keine Kontoauszüge vorgelegt hat, die Aufschluss über das fragliche Bankkonto geben könnten. Zu Recht hat die Vorinstanz in diesem Zusammenhang auf die den Beschwerdeführer treffende Mitwirkungspflicht hingewiesen. Angesichts dieser Ausgangslage bestand für die Vorinstanz jedenfalls kein Anlass zur Anordnung ergänzender Abklärungen. Von einer Verletzung des Untersuchungsgrundsatzes kann nicht gesprochen werden.
4.2 Vor Bundesgericht legt der Beschwerdeführer zwei vom 31. Mai und 5. Juni 2007 datierte Bestätigungen der Bank X._ (wovon erstere auch in eigenhändiger Übersetzung auf deutsch) auf, wonach er zum jetzigen Zeitpunkt nicht Kunde dieser Institution sei und dass sämtliche Bankkonten, die einmal auf seinen Namen bestanden hätten, aufgelöst worden seien. Weiter reicht er am 11. Dezember 2007 eine Bestätigung der Generaldirektion des Steueramtes der Finanzdirektion von Y._ vom 3. September 2007 (inkl. Übersetzung) nach. Darin wird bestätigt, dass keine Angaben über irgendwelches Einkommen vorliegen würden. Gemäss der Bankbestätigung wurde das letzte und hier interessierende Konto Ende Dezember 2001 aufgelöst. Obwohl diese Tatsache mithin dem Beschwerdeführer längstens bekannt war, brachte er sie im vorinstanzlichen Verfahren nicht vor. Inwiefern erst der angefochtene Entscheid Anlass zu diesen neuen Vorbringen gab, wird vom Beschwerdeführer ebenfalls nicht dargelegt. Ob damit diese neuen Tatsachen und Beweismittel im Verfahren vor Bundesgericht überhaupt vorgebracht werden dürfen (siehe E. 1), kann offen bleiben. Jedenfalls folgt aus dem Umstand, dass das fragliche Konto in Portugal aufgelöst wurde, nicht, dass das Vermögen nicht mehr vorhanden ist. Über den Verbleib des Geldes schweigt sich der Beschwerdeführer vielmehr nach wie vor aus, obwohl ihn auch diesbezüglich zur Aufklärung eine Mitwirkungspflicht trifft. Dass er die fragliche Summe ganz oder teilweise für seinen Lebensunterhalt gebraucht und damit das Vermögen im Sinne von Art. 3c Abs. 1 lit. c ELG verzehrt hätte, wird vom Beschwerdeführer nicht geltend gemacht. Eine allfällige Reduktion des anrechenbaren Vermögens steht daher ebenso wenig zur Diskussion wie eine doppelte Berücksichtigung des Vermögensverzehrs als fiktives Einkommen. Die sich diesfalls stellende Frage, ob es zulässig wäre, einen fiktiven Vermögensverzehr gleichzeitig sowohl bei der Ermittlung der Ergänzungsleistung als auch beim betreibungsrechtlichen Notbedarf anzurechnen, kann daher offen bleiben.
4.3 Die vorinstanzliche Feststellung, der Beschwerdeführer könne über ein namhaftes Vermögen verfügen, ist als Entscheidung über eine Tatfrage (<ref-ruling>) nach dem Gesagten weder offensichtlich unrichtig, noch unvollständig noch unter Verletzung wesentlicher Verfahrensbestimmungen getroffen worden, und bleibt daher für das Bundesgericht verbindlich (vgl. E. 1). Damit steht fest, dass die verfügte Verrechnung nicht in den betreibungsrechtlichen Notbedarf eingreift und vor Bundesrecht standhält.
4.3 Die vorinstanzliche Feststellung, der Beschwerdeführer könne über ein namhaftes Vermögen verfügen, ist als Entscheidung über eine Tatfrage (<ref-ruling>) nach dem Gesagten weder offensichtlich unrichtig, noch unvollständig noch unter Verletzung wesentlicher Verfahrensbestimmungen getroffen worden, und bleibt daher für das Bundesgericht verbindlich (vgl. E. 1). Damit steht fest, dass die verfügte Verrechnung nicht in den betreibungsrechtlichen Notbedarf eingreift und vor Bundesrecht standhält.
5. Steht fest, dass der Beschwerdeführer über ein namhaftes Vermögen verfügt, scheitert auch die Gewährung der unentgeltlichen Rechtspflege sowohl für das Einsprache- als auch für das vorinstanzliche Gerichtsverfahren bereits am Erfordernis der Bedürftigkeit. Zu Recht hat daher das kantonale Gericht auch diese Begehren abgelehnt.
5. Steht fest, dass der Beschwerdeführer über ein namhaftes Vermögen verfügt, scheitert auch die Gewährung der unentgeltlichen Rechtspflege sowohl für das Einsprache- als auch für das vorinstanzliche Gerichtsverfahren bereits am Erfordernis der Bedürftigkeit. Zu Recht hat daher das kantonale Gericht auch diese Begehren abgelehnt.
6. Die Gerichtskosten (<ref-law>) werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Januar 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard