Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) In tatsächlicher und rechtlicher Hinsicht kann auf den angefochtenen Entscheid vom 4. Oktober 2001 verwiesen werden. Die Vorinstanz legt zutreffend dar, dass gemäss Art. 9 Abs. 1 in Verbindung mit Art. 4 Abs. 1 des Abkommens zwischen der Schweizerischen Eidgenossenschaft und dem Staat Israel über Soziale Sicherheit vom 23. März 1984 (nachfolgend: Abkommen) israelische Staatsangehörige und ihre Hinterlassenen unter den gleichen Voraussetzungen wie Schweizer Bürger und deren Hinterlassene Anspruch auf die ordentlichen Renten und die Hilflosenentschädigungen der schweizerischen Rentenversicherung haben. Damit hat die Versicherte, die keine eigenen Kinder hat (<ref-law>), dann einen Anspruch auf eine Witwenrente, wenn ihre Ehe im Zeitpunkt der Verwitwung mindestens fünf Jahre gedauert und sie das 45. Altersjahr vollendet hat (<ref-law>). Nachdem die Beschwerdeführerin im Zeitpunkt der Verwitwung zwar bereits 59 Jahre alt, indessen erst seit 22. März 1999 verheiratet war, sind die Voraussetzungen zur Ausrichtung einer Witwenrente nicht erfüllt, weshalb die Ablehnung des Anspruches zu Recht erfolgte.
b) An diesem Ergebnis vermögen die Einwendungen in der Verwaltungsgerichtsbeschwerde nichts zu ändern.
Soweit die Beschwerdeführerin neu einen Anspruch auf eine Hilflosenentschädigung der Schweizerischen Rentenversicherung beantragt, ist sie darauf hinzuweisen, dass das Eidgenössische Versicherungsgericht gemäss Art. 128 OG letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b-h und 98a OG auf dem Gebiet der Sozialversicherung beurteilt. Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
Zum Anspruch auf Hilflosenentschädigung hat die Ausgleichskasse bisher noch nicht in der Form einer Verfügung Stellung genommen, weshalb diese Frage im vorliegenden Verfahren nicht zum Anfechtungsgegenstand gehört und somit hier nicht zu prüfen ist; insofern kann auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden. Die Beschwerdeführerin hätte deshalb zuerst bei der Ausgleichskasse einen Antrag auf Hilflosenentschädigung zu stellen.
Es sei indes erwähnt, dass gemäss <ref-law> zu den Anspruchsvoraussetzungen neben dem Bezug einer Altersrente oder Ergänzungsleistung eine medizinisch ausgewiesene Hilflosigkeit schweren oder mittleren Grades gehört und nicht etwa, wie die Beschwerdeführerin anzunehmen scheint, eine Hilflosigkeit in finanziellem Sinne. Abgesehen davon werden gemäss Art. 9 Abs. 3 des Abkommens den israelischen Staatsangehörigen Hilflosenentschädigungen nur gewährt, solange sie ihren Wohnsitz in der Schweiz haben.
Was schliesslich den Eventualantrag auf Rückerstattung der Beiträge des verstorbenen Ehemannes betrifft, hat bereits die Vorinstanz zutreffend ausgeführt, dass die Ausgleichskasse ein entsprechendes Gesuch mit Verfügung vom 16. Mai 2001 rechtskräftig abgewiesen hat. Soweit die Beschwerdeführerin einwendet, diese Verfügung sei ihr nie zugestellt worden, ist ihr entgegenzuhalten, dass die Verfügung ihrem Rechtsvertreter S._ mit eingeschriebenem Brief vom 16. Mai 2001 zugestellt worden ist. Sie hat sich diese Zustellung anzurechnen, nachdem ihr Rechtsvertreter gehörig bevollmächtigt war.
Es muss daher bei allem Verständnis für die Lage der Beschwerdeführerin bei den Ausführungen von Verwaltung und Vorinstanz sein Bewenden haben.
2.- Da sich die Verwaltungsgerichtsbeschwerde als offensichtlich unbegründet erweist, wird sie im Verfahren gemäss Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen,
soweit darauf einzutreten ist.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 4. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Die Gerichtsschreiberin: