Erwägungen:
1. Der 1981 geborene kosovarische Staatsangehörige X._ reiste am 9. Oktober 2000 in die Schweiz ein und ersuchte hier erfolglos um Asyl. Anstatt auszureisen heiratete er nach dem negativen Asylentscheid am 26. Oktober 2001 die 25 Jahre ältere mazedonische Staatsangehörige Y._, welche in der Schweiz niederlassungsberechtigt ist. Gestützt auf diese Ehe wurde X._ eine Aufenthaltsbewilligung erteilt und letztmals bis zum 25. Oktober 2009 verlängert. Die Erteilung der Niederlassungsbewilligung wurde ihm dagegen mit rechtskräftiger Verfügung vom 21. November 2006 verweigert, da er mit Strafbefehl der Staatsanwaltschaft A._ vom 4. Mai 2006 wegen eines Vergehens gegen das Arbeitslosenversicherungsgesetz zu einer bedingt vollziehbaren Gefängnisstrafe von 14 Tagen verurteilt worden war. Dem nicht angefochtenen Strafbefehl lag zugrunde, dass X._ während mehr als zwei Monaten Arbeitslosengelder in Höhe von Fr. 5'200.-- bezogen hat, obwohl er in dieser Zeit wieder angestellt war und ein Bruttoeinkommen von rund Fr. 6'700.-- erzielte.
Am 25. Mai 2007 wurde die Ehe von X._ mit Y._ geschieden und am 17. November 2008 heiratete er die 1988 geborene kroatische Staatsangehörige Z._, mit welcher er eine gemeinsame, bereits am 19. November 2006 geborene Tochter hat. Am 12. Januar 2009 ersuchte die neue Ehefrau von X._ für sich und die Tochter um Bewilligung des Familiennachzugs.
Mit Verfügung vom 4. Dezember 2009 lehnte das Migrationsamt des Kantons Zürich sowohl ein Gesuch von X._ um weitere Verlängerung seiner Aufenthaltsbewilligung als auch das Familiennachzugsgesuch seiner neuen kroatischen Ehefrau und der gemeinsamen Tochter ab. Es begründete dies zum einen damit, dass X._ gegenüber den Behörden die wesentliche Tatsache verschwiegen habe, dass er noch während der in der Schweiz geführten Ehe eine Parallelfamilie in Kroatien gründete. Zum andern bestehe der Eindruck, dass X._ mit Y._ lediglich eine Scheinehe eingegangen sei, um hier in den Genuss einer Aufenthaltsbewilligung zu kommen.
Der Regierungsrat des Kantons Zürich bestätigte am 15. September 2010 den Entscheid des Migrationsamtes und wies einen von X._ eingereichten Rekurs ab. Der Regierungsrat begründete seinen Entscheid jedoch weder mit dem Vorliegen einer Scheinehe zwischen X._ und Y._ noch mit dem Verschweigen wesentlicher Tatsachen. Stattdessen führte er an, X._ habe nach seiner Scheidung von Y._ von vornherein keinen Rechtsanspruch mehr auf Verlängerung seiner Aufenthaltsbewilligung gehabt, zumal es an der hierfür erforderlichen guten Integration mangle, da er vorbestraft sei und auch beträchtliche Geldschulden habe.
Eine daraufhin von X._ geführte Beschwerde an das Verwaltungsgericht des Kantons Zürich wurde von diesem mit Urteil vom 23. März 2011 abgewiesen.
2. Die von X._ daraufhin beim Bundesgericht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung und Verweis auf die vorinstanzlichen Erwägungen abzuweisen ist:
Wie von der Vorinstanz zutreffend ausgeführt, hat der geschiedene ausländische Ehegatte einer Schweizerin oder einer niederlassungsberechtigten Ausländerin nur dann einen Anspruch auf weitere Verlängerung seiner Aufenthaltsbewilligung, wenn entweder die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a AuG), oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG). Das Vorliegen von wichtigen persönlichen Gründen wird hier nicht behauptet und es sind solche Gründe auch nicht ersichtlich. Streitig ist einzig, ob eine erfolgreiche Integration nach Art. 50 Abs. 1 lit. a AuG vorliegt, was namentlich dann zutrifft, wenn der Ausländer die rechtsstaatliche Ordnung und die Werte der Bundesverfassung respektiert (Art. 77 Abs. 4 lit. a VZAE).
Dass das Verwaltungsgericht das Vorliegen einer erfolgreichen Integration verneinte, ist angesichts der Vorstrafe des Beschwerdeführers und dessen Schwierigkeiten, seinen finanziellen Pflichten nachzukommen (Schulden, vollzogene Pfändungen von bisher rund Fr. 25'000.--, bestehende Lohnpfändung von Fr. 1'500.-- pro Monat) nicht zu beanstanden. Was der Beschwerdeführer hiergegen vorbringt, vermag nicht durchzudringen: Die Behauptung, er habe seine Schulden inzwischen tilgen, bzw. mittels des Darlehens eines Kollegen eine Umschuldung vornehmen können, stellt eine unzulässige neue Tatsachenbehauptung dar (Art. 99 Abs. 1 BGG). Auch aus dem Einwand, dass das Migrationsamt seine Aufenthaltsbewilligung zu einem früheren Zeitpunkt trotz Kenntnis der Vorstrafe verlängert habe, kann er nichts zu seinen Gunsten ableiten: Wie bereits ausgeführt, begründete das Migrationsamt die hier streitige Verweigerung der Bewilligungsverlängerung nicht mit einer unzureichenden Integration und es setzte sich demnach nicht in Widerspruch zu früheren Bewilligungsentscheiden. Dass der Regierungsrat und anschliessend das Verwaltungsgericht des Kantons Zürich die Angelegenheit in den nachfolgenden Rechtsmittelverfahren anders würdigten und schon das Bestehen einer erfolgreichen Integration i.S. von Art. 50 Abs. 1 lit. a AuG verneinten, stellt ebenfalls kein widersprüchliches Verhalten dieser Behörden dar, sondern es ist dies eine Folge der verfahrensrechtlichen Pflicht zur Rechtsanwendung von Amtes wegen (§ 7 Abs. 4 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 [VRG/ZH]; vgl. auch Art. 106 Abs. 1 BGG für das bundesgerichtliche Verfahren) und der damit einhergehenden Möglichkeit einer Motivsubstitution (RHINOW / KOLLER / KISS / TURNHERR / BRÜHL-MOSER, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 1004).
Somit fehlt es dem Beschwerdeführer an einem Anspruch auf Verlängerung seiner Bewilligung und es kommt daher entgegen seiner Auffassung nicht darauf an, ob er durch sein Verhalten auch einen Widerrufsgrund i.S. von Art. 62 AuG gesetzt hat. Ebenfalls kann bei dieser Sachlage offen bleiben, ob der Beschwerdeführer die Ehe mit seiner ersten Frau nur zum Schein eingegangen war, um sich in der Schweiz einen Aufenthaltstitel zu verschaffen. Sodann ist dem Beschwerdeführer die Rückkehr in seine Heimat ohne Weiteres zuzumuten, zumal er dort seine gesamte Kindheit und Jugend verbracht hat, seine Geschwister nach wie vor dort leben und er auch während seines Aufenthaltes in der Schweiz regelmässig in den Kosovo gereist ist.
Als Folge der rechtmässigen Nichtverlängerung seiner Aufenthaltsbewilligung durfte die Vorinstanz ferner davon ausgehen, dass dem Familiennachzugsgesuch betreffend die neue Ehefrau und die Tochter des Beschwerdeführers die Grundlage entzogen ist. Im Übrigen ist der Antrag des Beschwerdeführers, die Sicherheitsdirektion sei anzuweisen, das Gesuch um Familiennachzug der Ehefrau und der gemeinsamen Kinder materiell zu behandeln, unzulässig, da ein solcher Antrag vor der Vorinstanz nicht gestellt worden war (Art. 99 Abs. 2 BGG).
3. Bei diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (Art. 66 Abs. 1 BGG). Da die Beschwerde von vornherein aussichtslos erschien, kann seinem Gesuch um unentgeltliche Rechtspflege und Verbeiständung nicht entsprochen werden (Art. 64 Abs. 1 BGG e contrario).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion und dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 6. Oktober 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler