Sachverhalt:
A. Der mazedonische Staatsangehörige X._ (geb. 1974) heiratete am 3. August 1994 im Heimatland die Landsfrau Y._ (geb. 1975), die seit 1988 in der Schweiz lebt und seit 1992 über eine Niederlassungsbewilligung verfügt. X._ reiste am 20. November 1994 in die Schweiz ein und erhielt eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau (letztmals verlängert bis zum 24. Mai 2007). Die Ehegatten haben zwei gemeinsame Kinder (geb. 23. Juli 1996 bzw. 22. Februar 1999), die in die Niederlassungsbewilligung der Mutter einbezogen wurden.
X._ wurde wegen wiederholter Straffälligkeit und Schuldenwirtschaft am 15. Oktober 1997 vom Ausländeramt des damaligen Wohnkantons Schaffhausen fremdenpolizeilich verwarnt. Nach dem Umzug der Familie in den Kanton Luzern sprach das dortige Amt für Migration am 7. September 1999 ebenfalls eine Verwarnung aus und verweigerte am 13. Februar 2001 X._ aufgrund der Verschuldung und der strafrechtlichen Verurteilungen die Erteilung einer Niederlassungsbewilligung. Nachdem X._ und Y._ weder hinsichtlich ihrer Schuldenwirtschaft noch betreffend Einhaltung der Rechtsordnung Besserung zeigten, wurden beide Ehegatten am 26. März 2002 erneut verwarnt. Aufgrund sieben weiterer Strafverfügungen gegen X._ und der von 11 auf 19 angestiegenen offenen Verlustscheinen im Gesamtbetrag von Fr. 20'732.25 sowie der inzwischen hinzugekommenen Betreibungen in Höhe von Fr. 65'974.65 drohte das Migrationsamt X._ und Y._ mit Verfügung vom 24. Mai 2005 die Ausweisung an. Danach musste X._ erneut 11 Mal strafrechtlich verurteilt werden und auch die Verschuldung stieg weiter an. Ende März 2009 bestanden 72 offene Verlustscheine über Fr. 139'949.90 und 75 Betreibungen in Höhe von Fr. 122'032.70.
B. Mit Verfügung vom 16. Juli 2009 lehnte das Amt für Migration des Kantons Luzern das Gesuch von X._ vom 30. April 2007 um Verlängerung der Aufenthaltsbewilligung ab, widerrief gleichzeitig die Niederlassungsbewilligung von Y._ und wies die Ehegatten sowie die beiden Kinder weg. Die dagegen erhobene Beschwerde hiess das Justiz- und Sicherheitsdepartement des Kantons Luzern mit Entscheid vom 2. Februar 2010 teilweise gut und hob die angefochtene Verfügung auf, soweit damit die Niederlassungsbewilligungen von Y._ und den Kindern widerrufen wurden. Im Übrigen wurde die Beschwerde abgewiesen und damit die Nichtverlängerung der Aufenthaltsbewilligung von X._ und dessen Wegweisung bestätigt. X._ beschwerte sich dagegen erfolglos beim Verwaltungsgericht des Kantons Luzern.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 16. März 2011 beantragt X._, das Urteil des Verwaltungsgerichts des Kantons Luzern vom 8. Februar 2011 aufzuheben, das Gesuch um Verlängerung der Aufenthaltsbewilligung gutzuheissen und ihm die Aufenthaltsbewilligung zu erteilen.
Das Amt für Migration des Kantons Luzern liess sich nicht vernehmen. Das Justiz- und Sicherheitsdepartement hat auf Stellungnahme verzichtet. Das Verwaltungsgericht des Kantons Luzern und das Bundesamt für Migration beantragen Abweisung der Beschwerde.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 22. März 2011 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
E. Seit dem 1. September 2011 lebt X._ getrennt von seiner Familie in einem gemieteten Zimmer in A._. Am 29. November 2011 teilte er dem Amt für Migration des Kantons Luzern mit, dass er die Schweiz per 15. Januar 2012 freiwillig verlassen werde. Gemäss Aktennotiz des Amts für Migration vom 13. Januar 2012 hat sich X._ schliesslich entschieden, doch nicht freiwillig auszureisen. Mit Eingabe vom 31. Januar 2012 hat X._ dazu Stellung genommen. Seine Firma ging im August 2011 Konkurs (Einstellung des Konkursverfahrens am 2. November 2011). Nach Abzahlung der Privatschulden sei die Familie "von einer Art organisierten Bande" unter Druck gesetzt und unter Androhung von Gewalt unrechtmässig zu Zahlungen genötigt worden. Nachdem sie eine Strafanzeige (Verfahren sei eingestellt worden) eingereicht hätten, habe X._ mit seiner Familie untertauchen müssen. Die Familie sei zunächst bei Verwandten untergebracht worden und dann nach B._ im Kanton Zürich gezogen. Aufgrund des Kantonswechsels der Familie und der ausstehenden Bewilligungsverlängerung habe X._ allein in A._ ein Zimmer bezogen. In dieser Situation habe er sich entschieden, sich vorübergehend in der Schweiz abzumelden, das Pensionskassenguthaben mitzunehmen und den bundesgerichtlichen Entscheid im Heimatland abzuwarten. Nachdem er erfahren habe, dass im Kanton Zürich ein Gesuch um Familiennachzug gestellt werden könne (offenbar hängig) und ihm neue Aufträge als Einzelfirma sowie allenfalls eine Teilzeitanstellung angeboten wurden, habe er sich entschlossen, nun doch nicht freiwillig auszureisen. Er habe auf die Rückerstattung der bereits ausbezahlten Vorsorgegelder verzichtet, womit der Betrag von Fr. 20'306.35 an die Betreibung der Gemeinde Emmen habe bezahlt werden können.

Erwägungen:
1. 1.1 Das streitige Gesuch um Verlängerung der Aufenthaltsbewilligung wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG).
1.2 Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Nach Art. 17 Abs. 2 ANAG (in der Fassung vom 23. März 1990, AS 1991 1034 1043) hat der Ehegatte eines Ausländers im Besitz der Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen.
Der Beschwerdeführer ist mit einer niedergelassenen Landsfrau verheiratet, mit der er im Zeitpunkt der Beschwerdeeinreichung zusammen wohnte. Seit 1. September 2011 lebt der Beschwerdeführer allerdings getrennt von seiner Familie, womit es zum heutigen (für die Eintretensfrage massgeblichen) Zeitpunkt an der Voraussetzung des Zusammenwohnens fehlt (vgl. zu dieser Voraussetzung: <ref-ruling> E. 4.1 S. 116 mit Hinweisen). Bei Aufgabe der Wohngemeinschaft besteht nach Art. 17 Abs. 2 ANAG - gleiches gilt nach neuem Recht (Art. 43 Abs. 1 AuG) - grundsätzlich kein Anspruch auf Bewilligungsverlängerung mehr. Der Beschwerdeführer macht jedoch in seiner Eingabe vom 31. Januar 2012 geltend, das Getrenntleben bestehe bloss wegen des Kantonswechsels der Familie und des ihn betreffenden hängigen Verfahrens, er beabsichtige, wieder zu seiner Familie zu ziehen. Ob er unter diesen Umständen noch einen Anspruch auf Verlängerung seiner Aufenthaltsbewilligungen gestützt auf Art. 17 Abs. 2 ANAG hat, ist fraglich, kann jedoch dahingestellt bleiben, da er sich einerseits aufgrund der intakten Beziehung zu den Kindern, die über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügen, für seinen weiteren Verbleib auf Völker- und Verfassungsrecht (Art. 8 EMRK bzw. <ref-law>) berufen kann (vgl. <ref-ruling> E. 3.1 S. 285 mit Hinweisen) und andererseits die Beschwerde ohnehin abzuweisen ist.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die seit dem Urteil des Verwaltungsgerichts erfolgte Entwicklung des Sachverhalts sowie die eingereichten neuen Belege, können nur berücksichtigt werden, soweit sie für die Eintretensfrage (E. 1.2) von Bedeutung sind; im Übrigen sind sie als echte Noven unbeachtlich.
2. 2.1 Ein gemäss Art. 17 Abs. 2 ANAG bestehender Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung erlischt, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Satz 4). Die betreffenden Voraussetzungen sind weniger streng als im Fall des ausländischen Ehegatten eines Schweizer Bürgers, in welchem ein Ausweisungsgrund im Sinne von Art. 10 ANAG (in der Fassung vom 8. Oktober 1948, AS 1949 I 221 227) vorliegen muss.
2.2 Die Verweigerung der Bewilligung muss indes auf jeden Fall verhältnismässig sein. Dabei sind namentlich zu berücksichtigen die Schwere des Verschuldens, der Grad der Integration bzw. die Dauer der bisherigen Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile (vgl. Art. 96 Abs. 1 AuG bzw. Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV; <ref-ruling> E. 4.3 S. 381 f. mit Hinweisen). Weil bereits geringere öffentliche Interessen für ein Erlöschen des Anspruchs genügen, sind im Rahmen von Art. 17 Abs. 2 ANAG auch die privaten Interessen der betroffenen Ausländer weniger stark zu werten als bei einer Ausweisung des ausländischen Ehepartners eines Schweizers (vgl. <ref-ruling> E. 4 S. 130 f.; <ref-ruling> E. 3a S. 390; Urteil 2A.42/2001 vom 11. Mai 2001 E. 3a). Eine vergleichbare Interessenabwägung wird ebenso von Art. 8 Ziff. 2 EMRK für einen Eingriff in das Recht auf Achtung des Familienlebens vorausgesetzt (<ref-ruling> E. 2.1 S. 147, 153 E. 2.2.1 S. 156; <ref-ruling> E. 2 S. 5 f. mit Hinweisen). Unter diesem Gesichtspunkt interessiert namentlich, ob den nahen Familienangehörigen zugemutet werden kann, dem Ausländer, der keine Bewilligung erhält, ins Ausland zu folgen. Eine allfällige Unzumutbarkeit der Ausreise führt aber nicht für sich allein zur Unzulässigkeit einer Bewilligungsverweigerung (<ref-ruling> E. 4b S. 131).
3. 3.1 Der Beschwerdeführer hat durch seine strafrechtlichen Verfehlungen und seine Schuldenwirtschaft nicht bloss wiederholt gegen die öffentliche Ordnung verstossen (Art. 17 Abs. 2 ANAG), sondern sogar einen Ausweisungsgrund im Sinne von Art. 10 Abs. 1 lit. b ANAG gesetzt.
Wie die Vorinstanz zutreffend festgestellt hat, steht der Beschwerdeführer seit 1997 praktisch ununterbrochen mit dem Gesetz in Konflikt. Weder die zahlreichen Verurteilungen (31 Strafverfügungen), noch drei fremdenpolizeiliche Verwarnungen, noch die Androhung der Ausweisung vermochten ihn zu einer Änderung seines Verhaltens zu veranlassen. Trotz seiner stetig beteuerten Besserungsabsicht und angeblich gewonnenen Einsichtsfähigkeit wurde er immer wieder rückfällig, weshalb ihm keine günstige Prognose gestellt werden kann. Noch während des vorinstanzlichen Beschwerdeverfahrens musste er erneut strafrechtlich belangt werden: am 25. Mai 2010 wegen Nichttragens der Sicherheitsgurten durch die mitfahrende Person, am 13. Juli 2010 wegen Überschreitens der Höchstgeschwindigkeit und am 30. August 2010 wegen Nichtabgabe von Ausweisen und Kontrollschildern trotz behördlicher Aufforderung. Der Beschwerdeführer delinquierte mehrheitlich im Strassenverkehr. Selbst wenn einzelne Delikte als geringfügig erscheinen mögen, ist deren Vielzahl mehr als bedenklich und zeugt von einer inakzeptablen Geringschätzung und Gleichgültigkeit gegenüber der schweizerischen Rechtsordnung. Im Übrigen sind diese Delikte aufgrund des grossen Gefährdungspotentials, welches dem Führen eines Motorfahrzeugs eigen ist (vgl. <ref-ruling> E. 3a S. 364), nicht zu verharmlosen und angesichts der Unbelehrbarkeit des Beschwerdeführers ist diesbezüglich auch von einer zukünftigen Bedrohung der öffentlichen Ordnung und Sicherheit auszugehen.
Hinsichtlich seiner finanziellen Lage sieht die Zukunftsprognose ebenfalls düster aus. Trotz erfolgter Mahnungen nahm der Schuldenberg immer mehr zu. Wie die Vorinstanz zu Recht erwog, erscheint die in Aussicht gestellte vollständige Schuldensanierung in naher Zukunft als unwahrscheinlich, nachdem sich der Beschwerdeführer beruflich selbstständig gemacht und eine Unternehmung gegründet hat, was gerade in der Anfangs- und Aufbauzeit einer Firma nicht als gesicherte berufliche Existenz gewertet werden kann. Negativ ins Gewicht fällt zudem die vom Beschwerdeführer zugegebene Spielsucht. Dass er sich diesbezüglich in einer erfolgsversprechenden Therapie befände, wird nicht dargetan. Es besteht daher konkret die Gefahr, dass sich die Spielsucht des Beschwerdeführers auch zukünftig negativ auf die finanzielle Situation der Familie auswirken wird. Der Einwand des Beschwerdeführers, sein weiterer Aufenthalt liege auch im Interesse der Gläubiger und insbesondere der Gemeinde Emmen, überzeugt unter den vorliegenden Umständen keineswegs.
Vielmehr bestehen gewichtige öffentliche Interessen, dem Beschwerdeführer, der offensichtlich nicht gewillt oder nicht fähig ist, sich an die schweizerische Rechtsordnung zu halten und seinen finanziellen Verpflichtungen nachzukommen, den weiteren Aufenthalt in der Schweiz zu versagen.
Vielmehr bestehen gewichtige öffentliche Interessen, dem Beschwerdeführer, der offensichtlich nicht gewillt oder nicht fähig ist, sich an die schweizerische Rechtsordnung zu halten und seinen finanziellen Verpflichtungen nachzukommen, den weiteren Aufenthalt in der Schweiz zu versagen.
3.2 Die privaten Interessen des Beschwerdeführers am Verbleib in der Schweiz fallen demgegenüber weniger ins Gewicht. Der Betroffene ist erst als Erwachsener in die Schweiz eingereist. Er ist in Mazedonien aufgewachsen und spricht die heimatliche Sprache. Trotz langer Aufenthaltsdauer ist eine besonders erfolgreiche Integration des Beschwerdeführers schon mit Blick auf die wiederholte Straffälligkeit und die anhaltende Schuldenwirtschaft nicht gegeben. Auch in beruflicher Hinsicht ist eine gewisse Unbeständigkeit des Beschwerdeführers festzustellen. Im Übrigen musste er sich seit mehreren Jahren aufgrund der fremdenpolizeilichen Verwarnungen (1997, 1999, 2002), der Verweigerung der Niederlassungsbewilligung (Februar 2001) sowie der Androhung der Ausweisung (24. März 2005) bewusst sein, dass sein weiterer Verbleib in der Schweiz mangels Verhaltensänderung nicht gesichert war. Trotz Kenntnis der Auswirkungen der angedrohten fremdenpolizeilichen Massnahmen auf sein Familienleben besserte er sich nicht, weshalb er eine allfällige Trennung von seiner Familie letztlich selber zu verantworten hat. Soweit er sich für seinen Verbleib auf seine Ernährerfunktion als Familienvater beruft, ist ihm zu entgegnen, dass er vielmehr für die Verschuldung der Familie verantwortlich zeichnet und damit sowie mit seinen Gesetzesverstössen auch seine Ehefrau in Schwierigkeiten gebracht hat. Dem 37-jährigen Beschwerdeführer ist zuzumuten, nach Mazedonien, wo seine Eltern und vermutlich weitere Verwandte leben, zurückzukehren und dort wieder Fuss zu fassen.
3.2 Die privaten Interessen des Beschwerdeführers am Verbleib in der Schweiz fallen demgegenüber weniger ins Gewicht. Der Betroffene ist erst als Erwachsener in die Schweiz eingereist. Er ist in Mazedonien aufgewachsen und spricht die heimatliche Sprache. Trotz langer Aufenthaltsdauer ist eine besonders erfolgreiche Integration des Beschwerdeführers schon mit Blick auf die wiederholte Straffälligkeit und die anhaltende Schuldenwirtschaft nicht gegeben. Auch in beruflicher Hinsicht ist eine gewisse Unbeständigkeit des Beschwerdeführers festzustellen. Im Übrigen musste er sich seit mehreren Jahren aufgrund der fremdenpolizeilichen Verwarnungen (1997, 1999, 2002), der Verweigerung der Niederlassungsbewilligung (Februar 2001) sowie der Androhung der Ausweisung (24. März 2005) bewusst sein, dass sein weiterer Verbleib in der Schweiz mangels Verhaltensänderung nicht gesichert war. Trotz Kenntnis der Auswirkungen der angedrohten fremdenpolizeilichen Massnahmen auf sein Familienleben besserte er sich nicht, weshalb er eine allfällige Trennung von seiner Familie letztlich selber zu verantworten hat. Soweit er sich für seinen Verbleib auf seine Ernährerfunktion als Familienvater beruft, ist ihm zu entgegnen, dass er vielmehr für die Verschuldung der Familie verantwortlich zeichnet und damit sowie mit seinen Gesetzesverstössen auch seine Ehefrau in Schwierigkeiten gebracht hat. Dem 37-jährigen Beschwerdeführer ist zuzumuten, nach Mazedonien, wo seine Eltern und vermutlich weitere Verwandte leben, zurückzukehren und dort wieder Fuss zu fassen.
3.3 Der Ehefrau und den beiden Kindern dürfte eine allfällige Ausreise in die Heimat nicht leicht fallen. Erstere ist 36 Jahre alt und lebt seit dem dreizehnten Altersjahr in der Schweiz. Sie gilt als im schweizerischen Arbeitsmarkt integriert. Die Kinder (15 bzw. 13 Jahre alt) sind hier geboren, gehen in der Schweiz zur Schule und haben nie in Mazedonien gelebt. Immerhin ist der Ehefrau die heimatliche Kultur nicht völlig unbekannt. Obwohl sie im Jugendalter in die Schweiz kam, hat sie die Beziehungen zu ihrem Heimatland nicht abgebrochen, wovon auch die Heirat in Mazedonien mit dem Beschwerdeführer, der dort aufgewachsen ist, zeugt. Es ist davon auszugehen, dass sie nach wie vor die heimatliche Sprache spricht und vermutlich auch die Kinder damit vertraut sind. Sollte der Beschwerdeführer die Schweiz verlassen müssen, könnte das gemeinsame Familienleben hier nicht mehr durch Zusammenwohnen fortgesetzt werden. Dazu müssten die Ehegattin und die beiden Kinder dem Beschwerdeführer ins Ausland bzw. in die Heimat folgen. Eine Ausreise ins gemeinsame Heimatland wäre für sie - wie erwähnt - nicht einfach, indessen nicht unzumutbar. Die streitige fremdenpolizeiliche Massnahme führt folglich nicht zwingend zur Trennung der Familie, womit sie auch Art. 8 EMRK nicht verletzt. Der Anspruch auf Achtung des Familienlebens nach Art. 8 Ziff. 1 EMRK gilt zudem nicht absolut. Vorliegend sind aufgrund der ordnungs- und sicherheitspolitischen Gründe, die die Entfernung des Beschwerdeführers gebieten, zudem auch die Voraussetzungen für einen Eingriff nach Art. 8 Ziff. 2 EMRK in das durch Ziff. 1 geschützte Rechtsgut erfüllt (vgl. <ref-ruling> E. 2.1 S. 147, 153 E. 2.2.1 S. 156; <ref-ruling> E. 2 S. 6 mit Hinweisen).
Die Ehefrau und die beiden Kinder verfügen über eine Niederlassungsbewilligung. Letztlich kommt damit der Ehefrau die Wahl zu, ob sie dem Beschwerdeführer mit den Kindern nach Mazedonien folgen will oder nicht. Sollten die Ehefrau und die Kinder in der Schweiz verbleiben, könnten sie die Kontakte zum Familienvater namentlich durch gegenseitige Besuche pflegen. Zu berücksichtigen ist diesbezüglich, dass im Unterschied zur (altrechtlichen) Ausweisung die Nichtverlängerung der Aufenthaltsbewilligung einer Einreise zu Besuchszwecken nicht entgegensteht und insofern die Pflege der familiären Beziehung - wenn auch unter erschwerten Bedingungen, die der Beschwerdeführer sich selbst zuzurechnen hat - nicht verunmöglicht.
3.4 Bei einer Gesamtwürdigung ist nicht zu beanstanden, dass die Vorinstanz die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers als verhältnismässig betrachtet. Das angefochtene Urteil ist damit bundesrechts- und konventionskonform. Ergänzend wird auf die zutreffenden Ausführungen im Urteil des Verwaltungsgerichts verwiesen.
4. 4.1 Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
4.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration des Kantons Luzern, dem Justiz- und Sicherheitsdepartement des Kantons Luzern, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 9. März 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs