Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1974) reiste 1990 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt eine Aufenthaltsbewilligung. Am 2. September 1999 heiratete er die kurz zuvor eingereiste Landsfrau Z._, die ihm am 14. Juli 1999 den gemeinsamen Sohn Y._ geboren hatte. Ehefrau und Sohn kehrten mangels Erteilung einer Aufenthaltsbewilligung in den Kosovo zurück. Auch X._ hatte sich damals in der Heimat aufgehalten, weshalb seine Aufenthaltsbewilligung von den Luzerner Migrationsbehörden mit Verfügung vom 24. Januar 2002 als erloschen betrachtet und er - seit Mitte 2002 rechtskräftig - aus der Schweiz weggewiesen wurde. Am 7. September 2004 liess er sich in der Heimat scheiden, nachdem er dort zum zweiten Mal Vater geworden war. Ein Gesuch um Wiedereinreise in die Schweiz scheiterte. B. Nach trotzdem erfolgter illegaler Einreise heiratete X._ am 24. März 2005 W._ (geb. 1983), welche das Schweizer Bürgerrecht besitzt. Gestützt auf diese Ehe erhielt er schliesslich eine bis zum 24. März 2006 gültige Aufenthaltsbewilligung, dies obwohl die Eheleute bloss ein von der Ehefrau gemietetes Zimmer in Cham als gemeinsame Wohnung angegeben hatten und noch am 20. Juni 2005 bei einer Befragung übereinstimmend erklärten, sie dürften erst zusammenleben, wenn sie nach muslimischem Brauch in Weiss geheiratet hätten. Eine solche Hochzeit hat dann aber - nach Angabe der Eheleute aus finanziellen Gründen - nie stattgefunden. Am 25. August 2006 gebar W._ den Sohn V._. Als dessen Vater gilt aufgrund der gesetzlichen Vermutung von Art. 255 ZGB X._. C. Am 3. Oktober 2006 liess sich X._ in seiner Heimat das alleinige Sorgerecht für den Sohn Y._ übertragen. Dieser war von seiner Mutter im September 2006 zu den Eltern von X._ nach Wolhusen gebracht worden. Am 15. Februar 2007 erhielt Y._ von den Zuger Migrationsbehörden eine Aufenthaltsbewilligung zum Verbleib bei seinem Vater, nachdem das Ehepaar X._-W._ auf den 1. Dezember 2006 eine Wohnung in Unterägeri gemietet hatte. Dort besuchte Y._ ab März 2007 auch den Kindergarten. D. Am 22. Februar 2008 teilte X._ der Schulbehörde Unterägeri mit, Y._ werde künftig in Wolhusen zur Schule gehen und dort von der Grossmutter betreut werden. Er selber sei dazu aus gesundheitlichen Gründen nicht in der Lage. Daraufhin sahen sich die Zuger Migrationsbehörden veranlasst, die Eheleute im Juni 2008 erneut zu befragen. Trotz gewisser Widersprüche und Ungereimtheiten in der Befragung verlängerte das Migrationsamt des Kantons Zug am 9. April 2009 die Aufenthaltsbewilligungen von X._ und seinem Sohn Y._. W._ war zu diesem Zeitpunkt allerdings von einem Dritten schwanger: Nachdem sie am 15. Mai 2009 noch die definitive Trennung von ihrem Mann gemeldet hatte, gebar sie am 19. Juli 2009 den Sohn U._. Der Vater ist ihrer Ansicht nach T._, mit welchem sie gemäss Befragung vom 22. September 2009 "seit ca. September/Oktober 2008" eine Beziehung führte. Auf Klage von X._ hob das Amtsgericht Luzern Land am 22. September 2009 das Kindesverhältnis zwischen diesem und U._ auf. Die Ehe X._-W._ wurde am 7. Dezember 2009 rechtskräftig geschieden. Für den - vermutungsweise (vgl. vorne lit. B) - gemeinsamen Sohn V._ erhielt X._ ein gerichtsübliches Besuchsrecht zugesprochen. Einen Vaterschaftstest hatte er verweigert. E. X._ ist psychisch krank. Mit Verfügung der Eidgenössischen Invalidenversicherung vom 10. Februar 2009 erhielt er rückwirkend auf den 1. Juni 2007 eine ganze Invalidenrente sowie - für Y._ und V._ - zwei Kinderrenten zugesprochen. F. Nachdem das Amt für Migration des Kantons Zug hiezu das rechtliche Gehör gewährt hatte, verlängerte es mit Verfügung vom 18. November 2010 die Aufenthaltsbewilligungen von X._ und Y._ nicht mehr und wies diese aus der Schweiz weg. Das Amt erwog im Wesentlichen, X._ könne sich für sein Aufenthaltsrecht nicht (mehr) auf die Ehe mit einer Schweizerin berufen. Ausserdem habe er sich zumindest die beiden letzten Verlängerungen der Aufenthaltsbewilligungen mittels Verschweigen wesentlicher Tatsachen erschlichen. Die gegen diese Verfügung erhobene Beschwerde beim Regierungsrat des Kantons Zug blieb erfolglos, und mit Urteil vom 27. September 2011 wies das Verwaltungsgericht die gegen den regierungsrätlichen Beschluss vom 5. April 2011 erhobene Beschwerde ebenfalls ab. G. Mit gemeinsamer Eingabe vom 10. November 2011 führen X._ und Y._ - unter Vorlage neuer ärztlicher Zeugnisse - Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das letztgenannte Urteil sowie die ihm vorangegangenen Erkenntnisse aufzuheben und die Aufenthaltsbewilligung angemessen zu verlängern, eventuell sei die Sache "zur Beweisergänzung" an die Vorinstanz zurückzuweisen. Das Amt für Migration des Kantons Zug hat sich nicht vernehmen lassen. Die Sicherheitsdirektion des Kantons Zug verweist - für den Regierungsrat - auf den angefochtenen Entscheid. Das Verwaltungsgericht des Kantons Zug beantragt - wie das Bundesamt für Migration - Abweisung der Beschwerde. Mit Eingaben vom 5. März 2012 und 11. Mai 2012 hat sich X._ noch einmal geäussert und dem Bundesgericht weitere neue ärztliche Zeugnisse vorgelegt.