Sachverhalt:
A.
A.A._, eine 1974 geborene serbische Staatsangehörige, reiste im Jahr 2002 in die Schweiz ein. Nachdem einem Asylgesuch kein Erfolg beschieden war, wurde sie wegen Unzumutbarkeit des Wegweisungsvollzugs vorläufig aufgenommen. Am 31. August 2016 wurde A.A._ bei der Invalidenversicherung zum Leistungsbezug angemeldet. Mit Verfügung vom 4. Mai 2018 wies die IV-Stelle des Kantons Zugs das Leistungsbegehren ab.
B.
Dagegen erhob A.A._ Beschwerde. Mit Eingabe vom 25. Juni 2019 teilte die IV-Stelle dem Verwaltungsgericht des Kantons Zug mit, dass A.A._ am........ verstorben sei. Ihre gesetzlichen Erben erklärten daraufhin am 27. Januar 2020, den Prozess weiterführen zu wollen. Mit Entscheid vom 12. Juni 2020 wies das Verwaltungsgericht die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen die Erben der A.A._, der vorinstanzliche Entscheid und die Verfügung der IV-Stelle vom 4. Mai 2018 seien aufzuheben und es seien die gesetzlichen Leistungen zuzusprechen. Eventuell verlangen sie die Rückweisung der Angelegenheit zu weiteren Abklärungen an die Vorinstanz resp. an die Verwaltung.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Mit Eingabe vom 22. Januar 2021 halten die Erben der A.A._ an den in der Beschwerde gestellten Anträgen fest.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es in Bestätigung der Verfügung der IV-Stelle vom 4. Mai 2018 einen Rentenanspruch verneinte.
3.
3.1. Die vorinstanzliche Sachverhaltsfeststellung, wonach die Versicherte in Bezug auf die von den behandelnden Ärzten diagnostizierte Intelligenzminderung und deren Folgen die einjährige Beitragszeit nicht erfüllt habe, wird von den Beschwerdeführern nicht bestritten und ist daher für das Bundesgericht verbindlich. Ebenfalls wird die vom kantonalen Gericht gezogene Schlussfolgerung, in Anlehnung an diese Diagnose könne kein Anspruch auf eine ordentliche Rente entstehen, nicht in Frage gestellt, weshalb darauf nicht weiter einzugehen ist.
3.2. Die Vorinstanz setzte sich mit der Frage auseinander, ob die diagnostizierte Adipositas sowie die übrigen damit zusammenhängenden somatischen Leiden der Versicherten geeignet waren, eine relevante Einschränkung der Arbeitsfähigkeit zu begründen. Das kantonale Gericht erkannte, dass der Versicherten von ihren behandelnden Ärzten mehrmals eine Gewichtsabnahme empfohlen worden sei. Sie habe jedoch nie Interesse daran gezeigt, aktiv an ihrem gesundheitlichen Wohlergehen zu arbeiten. Die fehlende konsequente Behandlung der Adipositas und der Beinödeme habe zu vielen weiteren Diagnosen geführt. Die gesundheitliche Situation habe sich in den letzten drei Jahren vor ihrem Tod zugespitzt. Auslöser der wiederholten Hospitalisationen seien allerdings immer behandelbare Leiden, oft in Zusammenhang mit dem massiven Übergewicht und der unzureichenden Behandlung von dessen Folgeerkrankungen, gewesen. Im Rahmen der Hospitalisierungen habe jeweils eine Besserung eingesetzt. Aufgrund der mangelhaften Therapie-Compliance der Versicherten habe sich die Lage danach allerdings wieder verschlimmert. In Bezug auf die vorhandenen Diagnosen liessen sich den medizinischen Berichten keinerlei Anhaltspunkte für eine wesentliche, längerdauernde Auswirkung auf die Arbeitsfähigkeit entnehmen. Auch aus der vom Hausarzt Dr. med. B._ attestierten Arbeitsunfähigkeit könne nichts Gegenteiliges gefolgert werden, habe er sie doch lediglich mit der erheblich eingeschränkten Mobilität der stark übergewichtigen Versicherten begründet.
Die Vorinstanz konstatierte weiter, dass die Versicherte trotz einer leichten (allenfalls mittelgradigen) Intelligenzminderung in der Lage gewesen wäre, die Folgen ihres passiven Verhaltens zu erfassen und etwas dagegen zu unternehmen.
4.
Die Beschwerdeführer machen geltend, aus den Akten ergebe sich klar, dass sich die bestehende Intelligenzminderung auf die Compliance der Versicherten ausgewirkt habe. Die Umstände, dass die Minderintelligenz schon bei der Einreise vorgelegen habe und die diagnostizierte Adipositas in der Regel nicht als bleibender, invalidisierender Gesundheitsschaden gelte, würden nicht von einer sorgfältigen Sachverhaltsabklärung der Intelligenzminderung entbinden. Im vorliegenden Fall sei der Leistungsanspruch in Anlehnung an die Berichte der behandelnden Ärzte zu treffen. Sollte dies nicht möglich sein, müssten weitere Abklärungen vorgenommen werden. Der Sachverhalt wäre, obwohl die Versicherte inzwischen verstorben sei, einem psychiatrischen Facharzt zum Aktengutachten zu unterbreiten.
5.
5.1. Gemäss den verbindlichen Feststellungen der Vorinstanz (E. 1 und 3.2) empfahlen die behandelnden Ärzte der Versicherten mehrfach eine Gewichtsreduktion und berichteten, dass dieser eine zentrale Rolle für die künftige Krankheitsentwicklung zukomme. Auch Dr. med. C._, Facharzt Allgemeine Innere Medizin, vom Regionalen Ärztlichen Dienst (RAD) erachtete eine Gewichtsreduktion als vordergründig (Berichte vom 18. Juli 2017, 6. Februar und 8. Oktober 2018). Dass eine solche für die Versicherte grundsätzlich realisierbar war, zeigte sich laut kantonalem Gericht jeweils im Rahmen ihrer Hospitalisationen, während derer eine Besserung des Gesundheitszustands eintrat.
5.2.
5.2.1. Die Vorinstanz erachtete die im Raum stehende Intelligenzminderung nicht als Grund dafür, dass sich die Versicherte in Bezug auf die Gewichtsreduktion passiv verhielt. Hierzu ist festzuhalten, dass sich ein psychiatrischer Fachbericht in den Akten befindet. Dabei handelt es sich um eine Stellungnahme der Dienste D._ vom 22. Oktober 2012. Die zuständigen Ärzte diagnostizierten einen klinischen Verdacht auf eine leichte bis mittelgradige Intelligenzminderung (ICD-10 F70.0/F71.0). Sie führten aus, eine psychologische Testung der intellektuellen Fähigkeiten sei sprachbedingt nicht möglich gewesen. Der Hausarzt Dr. med. B._ berichtete am 15. Oktober 2016 von einer leichten und am 10. März 2017 von einer mittelgradigen Intelligenzminderung. Dr. med. C._ vom RAD griff die Intelligenzminderung auf und berücksichtigte sie im Rahmen seiner ärztlichen Gesamteinschätzungen (Berichte vom 18. Juli 2017, 6. Februar und 8. Oktober 2018).
Mit Blick auf diese Aktenlage und insbesondere auch im Hinblick auf den Umstand, dass die Ärzte der Dienste D._ lediglich eine Verdachtsdiagnose stellen konnten, da eine psychologische Testung der intellektuellen Fähigkeiten nicht möglich war, kam die Vorinstanz nicht offensichtlich unrichtig zum Schluss, dass von einem Aktengutachten keine neuen Erkenntnisse zu erwarten wären und verzichtete daher in zulässiger antizipierter Beweiswürdigung und ohne Verletzung des Untersuchungsgrundsatzes auf ergänzende Sachverhaltserhebungen (vgl. <ref-ruling> E. 5.3 S. 236). Von einer Rückweisung zu weiteren Abklärungen des psychiatrischen Sachverhalts ist daher abzusehen.
5.2.2. Den Beschwerdeführern ist dahingehend beizupflichten, dass Hinweise aktenkundig sind, die auf einen möglichen Einfluss der Intelligenzminderung auf die Compliance hindeuten und zum Teil keinen Eingang in den vorinstanzlichen Entscheid gefunden haben. Diese lassen jedoch die Schlussfolgerung des kantonalen Gerichts, wonach die Versicherte trotz ihrer Intelligenzminderung in der Lage gewesen sei, ihre gesundheitliche Situation zu verstehen und zu deren Verbesserung beizutragen, nicht als offensichtlich unrichtig oder sonstwie bundesrechtswidrig erscheinen. Dr. med. C._ berichtete (Stellungnahmen vom 18. Juli 2017 und 6. Februar 2018), dass grundsätzlich eine Behandelbarkeit sowohl des massiven Übergewichts als auch der Beinödeme/Stauungsdermatitis, des Ulcus cruris, sowie des Diabetes mellitus vorliege. Zwar legte er dar, es lasse sich am ehesten mit der Intelligenzminderung und den damit assoziierten erheblichen Verständigungsschwierigkeiten erklären, dass sich die Versicherte den notwendigen diagnostischen Behandlungsmassnahmen entziehe. Dennoch lagen in den jeweiligen Hospitalisationsberichten keine Anhaltspunkte dafür vor, dass die Versicherte aufgrund der Intelligenzminderung nicht in der Lage war, eine Gewichtsreduktion anzugehen.
5.3.
5.3.1. Entgegen der Auffassung der Beschwerdeführer kann in Anlehnung an den Bericht des Dr. med. B._, wonach die Versicherte nicht mobil und daher nicht leistungsfähig gewesen sei, nicht von einer invalidenversicherungsrechtlich relevanten Arbeitsunfähigkeit von 100 % ausgegangen werden. Die Arbeitsunfähigkeit ist ein unbestimmter Rechtsbegriff des formellen Gesetzes (<ref-law>), dessen allgemeine Konkretisierung dem Bundesgericht zufällt, während seine praktische Handhabung im Einzelfall der rechtsanwendenden Stelle obliegt, die den durch Gesetz und Rechtsprechung gezogenen normativen Rahmen zu berücksichtigen hat (<ref-ruling> E. 3.1 S. 195).
5.3.2. Rechtsprechungsgemäss bewirkt eine Adipositas grundsätzlich keine zu Rentenleistungen berechtigende Invalidität, wenn sie nicht körperliche oder geistige Schäden verursacht und nicht die Folge von solchen Schäden ist. Liegen diese Voraussetzungen nicht vor, muss sie unter Berücksichtigung der besonderen Gegebenheiten des Einzelfalles dennoch als invalidisierend betrachtet werden, wenn sie weder durch geeignete Behandlung noch durch zumutbare Gewichtsabnahme auf ein Mass reduziert werden kann, bei welchem das Übergewicht in Verbindung mit allfälligen Folgeschäden keine voraussichtlich bleibende oder längere Zeit dauernde Beeinträchtigung der Erwerbsfähigkeit bzw. der Betätigung im bisherigen Aufgabenbereich zur Folge hat (Urteil 8C_663/2017 vom 12. Dezember 2017 E. 3.2 mit Hinweisen). Im Lichte dieser Rechtsprechung und in Anlehnung an das Gesagte (E. 5.1 und 5.2) kam das kantonale Gericht bundesrechtskonform zur Erkenntnis, dass die Adipositas sowie die übrigen somatischen Leiden der Versicherten nicht geeignet sind, eine relevante Einschränkung zu begründen. Dass einer der von der Rechtsprechung geforderten Tatbestände gegeben ist, wird von den Beschwerdeführern nicht vorgebracht und ist mit Blick auf die verbindlichen vorinstanzlichen Feststellungen auch nicht ersichtlich. Insbesondere bestehen keine Anhaltspunkte dafür, dass die Adipositas nach dem Gesagten bei der Versicherten Folge einer gesundheitlichen Beeinträchtigung oder einer therapeutischen Behandlung nicht zugänglich war. Solches wird denn von den Beschwerdeführern ebenfalls nicht geltend gemacht.
6.
Nach dem Gesagten ist die Beschwerde unbegründet und der vorinstanzliche Entscheid zu bestätigen.
7.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. März 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber