Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1965) hat aus einer ersten, 1996 geschiedenen Ehe das Sorgerecht über seine drei Söhne A._ (geb. 1991), B._ (geb. 1994) und C._ (geb. 1995). Am 24. März 1998 reiste er in die Schweiz ein und stellte erfolglos ein Asylgesuch. Gestützt auf die am 18. Mai 2000 geschlossene Ehe mit einer Schweizer Bürgerin erhielt er eine Aufenthaltsbewilligung. Bereits am 1. Oktober 2001 lösten die Eheleute den gemeinsamen Haushalt auf. Mit Eingabe vom 31. Dezember 2007 verlangte X._ bei den Einwohnerdiensten der Stadt Bern für sich selbst die Erteilung der Niederlassungsbewilligung sowie den Nachzug seiner drei Söhne in die Schweiz. Mitte Juni 2009 wurde ihm die Niederlassungsbewilligung erteilt.
Was den Familiennachzug betraf, hatten die Einwohnerdienste der Stadt Bern - im Einverständnis mit X._ - die schweizerische Vertretung in Pristina mit verschiedenen Abklärungen vor Ort beauftragt. Nachdem die Einwohnerdienste X._ gestützt auf die Berichte der Schweizer Botschaft (vom 18. Februar 2009, 14. August 2009 und 22. Januar 2010) die Ablehnung des Familiennachzugs in Aussicht gestellt und ihm dazu das rechtliche Gehör gewährt hatten, wiesen sie das Gesuch mit Verfügung vom 6. April 2010 ab. Eine gegen diese Verfügung bei der Polizei- und Militärdirektion des Kantons Bern erhobene Beschwerde blieb erfolglos, und mit Urteil vom 29. Juli 2011 wies das Verwaltungsgericht des Kantons Bern die gegen den Direktionsentscheid vom 27. Juli 2010 gerichtete Beschwerde ebenfalls ab.
B. Mit Eingabe vom 14. September 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde beim Bundesgericht mit den Anträgen, das genannte Urteil des Verwaltungsgerichts aufzuheben und das Gesuch um Familliennachzug gutzuheissen.
Die Einwohnergemeinde Bern hat sich nicht vernehmen lassen. Die Polizei- und Militärdirektion des Kantons Bern schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht stellt denselben Antrag, ebenso das Bundesamt für Migration. X._ hat mit Eingabe vom 6. Januar 2012 auf eine Stellungnahme zu den eingeholten Vernehmlassungen verzichtet.

Erwägungen:
1. 1.1 Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
1.2 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) in Kraft getreten, doch bestimmt dessen Art. 126 Abs. 1, dass auf Gesuche, die vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, noch das bisherige Recht anwendbar bleibt. Das streitige Familiennachzugsgesuch wurde vor Inkrafttreten des Ausländergesetzes gestellt und beurteilt sich daher - wie das Verwaltungsgericht zutreffend erkannt hat - noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen. Dies wird vom Beschwerdeführer denn auch zu Recht nicht in Frage gestellt.
1.3 Gemäss Art. 17 Abs. 2 Satz 3 ANAG haben ledige Kinder von Ausländern, die in der Schweiz niedergelassen sind, Anspruch auf Einbezug in die Niederlassungsbewilligung ihrer Eltern, wenn sie mit diesen zusammenwohnen und noch nicht 18 Jahre alt sind (zur Natur dieses Rechts auf Miteinbezug vgl. <ref-ruling> E. 2d/bb S. 272 f.).
Da die drei Söhne im Zeitpunkt der Gesuchseinreichung, auf welchen es im Rahmen von Art. 17 Abs. 2 ANAG für die Eintretensfrage ankommt (<ref-ruling> E. 1.2 S. 252 mit Hinweisen), noch nicht 18 Jahre alt waren, besitzt der Beschwerdeführer, welcher über die Niederlassungsbewilligung verfügt, einen grundsätzlichen Anspruch auf den Familiennachzug. Er kann sich im Verhältnis zu seinen beiden jüngeren Söhnen, die auch heute (im Zeitpunkt des bundesgerichtlichen Entscheides) die Altersgrenze von 18 Jahren noch nicht überschritten haben (vgl. <ref-ruling> E. 2 S. 13 f., 249 E. 1.2 S. 252), darüber hinaus auf das in Art. 8 Ziff. 1 EMRK bzw. Art. 13 Abs. 1 BV garantierte Recht auf Achtung des Familienlebens berufen.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist insoweit zulässig und der Beschwerdeführer hierzu legitimiert (Art. 89 Abs. 1 BGG).
1.4 Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden; darunter fällt auch die Verletzung verfassungsmässiger Rechte (Art. 95 lit. a BGG). Daher bleibt vorliegend kein Raum für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde, so dass auf diese nicht einzutreten ist (vgl. Art. 113 BGG).
1.4 Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden; darunter fällt auch die Verletzung verfassungsmässiger Rechte (Art. 95 lit. a BGG). Daher bleibt vorliegend kein Raum für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde, so dass auf diese nicht einzutreten ist (vgl. Art. 113 BGG).
1.5 1.5.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind.
1.5.2 Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.6 Das Bundesgericht legt sodann seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhaltes kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.2.2).
Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen (vgl. dazu E. 1.5.2, hiervor). Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind (<ref-ruling> E. 1.4.3 S. 254).
2. Die in der Rechtsprechung zu Art. 17 ANAG entwickelten Voraussetzungen für den zeitlich gestaffelten Familiennachzug von minderjährigen Kindern wurden von der Vorinstanz korrekt wiedergegeben (vgl. <ref-ruling> E. 2.2, <ref-ruling> E. 3.1). Sie unterschieden danach, ob der Nachzug zu den gemeinsamen Eltern oder bloss zu einem Elternteil erfolgen sollte. Während der Nachzug bei zusammenlebenden Eltern grundsätzlich jederzeit möglich war und einzig durch das Rechtsmissbrauchsverbot eingeschränkt wurde, bestand beim Nachzug zu einem Elternteil kein bedingungsloser Anspruch auf Familienvereinigung. Für eine solche mussten besondere familiäre Gründe bzw. eine zwingend nötig gewordene Änderung in den Betreuungsverhältnissen sprechen. Das war in der Regel nicht der Fall, wenn im Heimatland alternative Pflegemöglichkeiten gegeben waren, die dem Kindeswohl besser entsprachen. Dabei wurde namentlich berücksichtigt, ob und inwieweit die Kinder aus ihrer bisherigen Umgebung und dem ihnen vertrauten Beziehungsnetz gerissen wurden. An den Nachweis der fehlenden Betreuungsmöglichkeit im Heimatland waren umso höhere Anforderungen zu stellen, je älter das nachzuziehende Kind war bzw. je grösser die Integrationsschwierigkeiten erschienen, die ihm hier drohten. Dabei unterlag die Beurteilung des Nachzugsbegehrens einer Gesamtwürdigung der relevanten Umstände (vgl. <ref-ruling> E. 4.1 S. 80, 120 E. 2.1 S. 123 f.; <ref-ruling> E. 3.1, 5.3 und 5.5 S. 9 ff.; <ref-ruling> E. 2 und 3 S. 330 ff.; je mit Hinweisen).
Unter der Herrschaft von Art. 42 und 43 des Ausländergesetzes vom 16. Dezember 2005 (AuG) hat das Bundesgericht diese ältere Rechtsprechung zum Teilfamiliennachzug zwar aufgegeben. Dies wurde aber einzig mit der Auslegung des neuen Gesetzes begründet (vgl. <ref-ruling>) und ist für das hier noch anwendbare ANAG nicht massgebend.
3. Der Beschwerdeführer sieht sich vorab in seinem Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt, weil ihm mit Blick auf den Bericht der schweizerischen Botschaft vom 18. Februar 2009 die Teilnahme an den vor Ort geführten Abklärungen wie auch das Stellen von Fragen verwehrt worden sei.
Das rechtliche Gehör gemäss Art. 29 Abs. 2 BV dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines solchen Entscheides zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen. Der Anspruch auf rechtliches Gehör umfasst als Mitwirkungsrecht somit alle Befugnisse, die einer Partei einzuräumen sind, damit sie in einem Verfahren ihren Standpunkt wirksam zur Geltung bringen kann (<ref-ruling> E. 3.2 S. 270, 132 II 485 E. 3.2 S. 494; <ref-ruling> E. 2b S. 56; <ref-ruling> E. 4b S. 268, mit Hinweisen). Dass sich aus dem kantonalen Recht ein weitergehender Gehörsanspruch ergeben würde, wird nicht behauptet und ist auch nicht ersichtlich.
Die Gehörsrüge ist, soweit sie überhaupt rechtsgenüglich vorgetragen wird, unbegründet: Der Beschwerdeführer macht nicht geltend, die Vorinstanz habe von ihm beantragte Beweise nicht abgenommen. Er, der sich mit dem Vorgehen zur Einholung des Berichts der Schweizer Botschaft zum Voraus einverstanden erklärt hatte und im Verfahren der Einwohnerdienste wiederholt Stellung nehmen konnte, wäre in der Lage gewesen, rechtzeitig die Teilnahme an den von der Schweizer Botschaft veranlassten Abklärungen vor Ort zu verlangen oder entsprechende Fragen ins Verfahren einzubringen. Seine Kritik betrifft aber im Grunde nicht den Anspruch auf rechtliches Gehör, sondern richtet sich gegen die Sachverhaltsfeststellung. Der Beschwerdeführer rügt mehrere unvollständige bzw. willkürliche Sachverhaltsfeststellungen (vgl. nachfolgend E. 4.2), und es wird - soweit erforderlich - im entsprechenden Sachzusammenhang darzulegen sein, inwiefern die Anforderungen an die Begründungspflicht solcher Rügen (vorne E. 1.6) überhaupt eingehalten sind.
4. 4.1 Das Verwaltungsgericht hat festgestellt, die drei Söhne lebten seit der Scheidung der Eltern in einem Dorf in der Gemeinde Y._ im Haus ihres Onkels, der sich zusammen mit seiner Ehefrau und seiner betagten, an verschiedenen Gebrechen leidenden Mutter (Grossmutter der Söhne) um sie kümmere. Der Onkel habe selber Kinder, die ebenfalls dort wohnten; das Haus sei gross, komfortabel und habe einen Garten. Ein weiterer Bruder des Beschwerdeführers besitze ein Haus gleich gegenüber, das er nur zu Ferienzwecken benutze. Schwere gesundheitliche Probleme der Söhne seien gemäss dem zu den Akten gegebenen Arztbericht nicht ersichtlich, und weshalb bzw. auf welche Weise seine Kinder bedroht würden, lege der Beschwerdeführer nicht dar. Die Söhne hätten sich bisher noch nie in der Schweiz aufgehalten, seien im Kosovo aufgewachsen und demnach dort sozial, sprachlich und kulturell integriert; sie verfügten ausserdem über höchstens rudimentäre Kenntnisse der deutschen Sprache. Stichhaltige Gründe für eine Übersiedlung der Söhne zum Vater in die Schweiz bestünden deshalb nicht.
4.2 Der Beschwerdeführer rügt, diese Sachverhaltsfeststellungen seien unvollständig und willkürlich. So habe das Verwaltungsgericht vorab die Folgen des Ausfalls der seinerseits pflegebedürftigen Grossmutter als Betreuungsperson nicht berücksichtigt.
Davon, dass die Grossmutter aufgrund ihres Alters und verschiedener Gebrechen nicht mehr in der Lage ist, die Betreuung der Söhne in vollem Umfange wahrzunehmen, ist aber auch das Verwaltungsgericht ausgegangen (E. 4.3). Es durfte in diesem Zusammenhang jedoch willkürfrei annehmen, dass die Söhne heute in einem Alter sind, in dem sie keiner besonders intensiven Betreuung mehr bedürfen.
Soweit der Beschwerdeführer geltend macht, der Onkel sei beruflich tagsüber abwesend, hat die Vorinstanz nichts festgestellt, was dem widerspräche. Auch hat sie nicht festgestellt, den Söhnen stehe ein anderes Haus zur Verfügung, sondern bloss festgehalten, dass ein weiterer Bruder des Beschwerdeführers ein gegenüberliegendes Haus besitze (E. 4.3). Zwar stützt sich die Aussage des Verwaltungsgerichts, es dürften sich keine Platzprobleme für die Familie stellen, auf keine spezifische Aktenstelle, doch hat die Schweizer Botschaft in ihrem Bericht vom 18. Februar 2009 immerhin festgehalten, die Liegenschaft, in dem die Söhne zusammen mit der Familie des Onkels lebten, sei gross und komfortabel und erstrecke sich über drei Etagen. Dass die drei Söhne des Beschwerdeführers - wie er geltend macht - darin alle zusammen in einem einzigen kleinen Zimmer wohnen und schlafen müssten, vermag an dieser Feststellung nichts zu ändern; sie lässt zudem andere mögliche Formen der Unterbringung ausser Acht.
Was den vorgelegten Arztbericht zum Gesundheitszustand der Söhne aufgrund von Isolation, Ausgrenzung und Bedrohung betrifft, hat sich das Verwaltungsgericht ausführlich und nicht offensichtlich unrichtig mit den darin gestellten Diagnosen auseinandergesetzt (E. 5.1.2). Die Bedrohungssituation hat der Beschwerdeführer im Übrigen nicht substanziert: Sein Vorbringen, die den katholischen Glauben praktizierenden Söhne lebten in einer zunehmend aggressiven muslimischen Umgebung, widerspricht seinen eigenen Angaben in der Eingabe vom 19. März 2010 an die Einwohnerdienste, wonach die Dorfgemeinschaft "streng katholisch" geprägt sei.
Schliesslich vermag auch eine gegenteilige Auffassung des Deutschlehrers an der Feststellung der Vorinstanz, wonach die Söhne höchstens über rudimentäre Kenntnisse der deutschen Sprache verfügten, nichts zu ändern; sie entspricht der Aktenlage.
4.3 Insgesamt hat sich wie dargelegt insoweit eine Veränderung der Betreuungssituation für die Söhne in deren Heimatland ergeben, als die Grossmutter älter und gebrechlicher geworden ist. Ausschlaggebend für die Beurteilung des Familiennachzugsbegehrens ist aber die Sachverhaltsfeststellung, dass die Kinder schon immer im Haus ihres Onkels gelebt haben bzw. dort betreut wurden, und insofern hat sich keine wesentliche Änderung ergeben. Hinzu kommt, dass die Söhne einerseits mittlerweile älter geworden sind und keiner durchgehenden Betreuung mehr bedürfen, andererseits hätten sie - wie das Verwaltungsgericht richtigerweise annahm - als junge Auszubildende in der Schweiz mit wesentlichen Integrationsschwierigkeiten zu rechnen.
5. Aufgrund dieses Sachverhalts, der vom Verwaltungsgericht nicht offensichtlich unrichtig festgestellt worden ist, erweist sich der angefochtene Entscheid als bundesrechtskonform (vgl. vorne E. 2).
6. Dies führt zur Abweisung der Beschwerde in öffentlich-rechtlichen Angelegenheiten. Wie ausgeführt (E. 1.4), ist zudem auf die miterhobene subsidiäre Verfassungsbeschwerde nicht einzutreten.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 65/66 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde Bern, der Polizei- und Militärdirektion und dem Verwaltungsgericht des Kantons Bern sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. März 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein