Erwägungen:
1. 1.1 Der mazedonische Staatsangehörige X._ (geb. 1978) heiratete im November 2000 in seiner Heimat seine Landsfrau Y._ (geb. 1980), welche in der Schweiz über eine Niederlassungsbewilligung verfügt. Im April 2001 reiste er in die Schweiz ein und erhielt in der Folge eine Aufenthaltsbewilligung, die letztmals bis zum 15. April 2008 verlängert wurde. Die Eheleute haben zwei Töchter (geb. 2002 und 2007).
Am 18. April 2008 verurteilte das Kreisgericht Rheintal X._ wegen schwerer Widerhandlung gegen das Betäubungsmittelgesetz und grober Verletzung von Verkehrsregeln sowie Missachtung von Auflagen im Führerausweis zu einer Freiheitsstrafe von drei Jahren, wovon 15 Monate vollziehbar erklärt wurden. Hierauf gestützt lehnte das Ausländeramt St. Gallen am 11. August 2009 die Verlängerung seiner Aufenthaltsbewilligung ab und forderte ihn auf, die Schweiz nach Entlassung aus dem Strafvollzug zu verlassen. Die dagegen erhobenen Rechtsmittel wurden am 29. März 2010 vom Sicherheits- und Justizdepartement sowie am 24. August 2010 vom Verwaltungsgericht des Kantons St. Gallen abgewiesen.
1.2 Mit Beschwerde vom 30. September 2010 beantragt X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts aufzuheben, die Aufenthaltsbewilligung zu verlängern und von seiner Wegweisung abzusehen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das kantonale Sicherheits- und Justizdepartement, das Verwaltungsgericht sowie das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das Ausländeramt St. Gallen hat sich nicht vernehmen lassen.
1.3 Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 11. Oktober 2010 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
2. 2.1 Der Beschwerdeführer hat gestützt auf Art. 43 AuG (SR 142.20) und Art. 8 EMRK grundsätzlich einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, da sowohl seine Ehefrau als auch die beiden Töchter über eine Niederlassungsbewilligung verfügen und er mit ihnen zusammenlebt. Dieser Anspruch erlischt, wenn ein Widerrufsgrund nach Art. 62 AuG vorliegt (Art. 51 Abs. 2 lit. b AuG) und sich die Entfernung des Ausländers aus der Schweiz aufgrund einer Gesamtabwägung als verhältnismässig erweist (vgl. BGE 135 II 377 E. 4.3 S. 381 f.). Zwischen den Beteiligten ist unstreitig, dass der Beschwerdeführer angesichts seiner strafrechtlichen Verurteilung den Widerrufsgrund des Art. 62 lit. b AuG erfüllt. Der Beschwerdeführer meint jedoch, die Nichtverlängerung seiner Bewilligung sei unverhältnismässig, weshalb die Vorinstanzen ihr Ermessen überschritten hätten.
2.2 Bei der Interessenabwägung ist namentlich die Schwere der begangenen Delikte zu berücksichtigen. Die Vorinstanz hält fest, dass der Beschwerdeführer als Drogenkurier innert zweier Monate über drei Kilogramm Heroin umgesetzt habe. Sie weist zutreffend darauf hin, dass bei Betäubungsmitteldelikten das Fernhalteinteresse besonders gross ist (vgl. Urteile des Bundesgerichts 2C_574/2008 vom 9. Februar 2009 E. 2.3.1; 2A.531/2001 vom 10. April 2002 E. 3.4). Daran ändert der Hinweis des Beschwerdeführers auf BGE 133 IV 201 nichts, auch wenn dort erklärt wird, diese Delikte würden noch keine unmittelbare oder konkrete Gefährdung für hochwertige Rechtsgüter wie Leib oder Leben oder die sexuelle Integrität bewirken (dortige E. 3.2 S. 206). Immerhin wird mit dem Handel nicht unbeträchtlicher Drogenmengen die Gesundheit vieler Menschen in Gefahr gebracht, was eine strenge aufenthaltsrechtliche Praxis gegenüber den betreffenden Straftätern rechtfertigt (vgl. Urteil des EGMR Dalia gegen Frankreich vom 19. Februar 1998, Recueil CourEDH 1998-I S. 76 § 54). Der Beschwerdeführer macht zwar zusätzlich geltend, er habe entgegen der Darstellung der Vorinstanz glaubhaft versichern können, dass er keineswegs freiwillig in Kontakt mit dem Betäubungsmittelhandel gekommen sei. Die Vorinstanz bemerkt demgegenüber zu Recht, das Kreisgericht habe seine Ausführungen, wonach er angeblich unter Druck seiner Komplizen als Drogenkurier tätig gewesen sei, als wenig glaubhaft erachtet. Die gegen das Strafurteil eingereichte Berufung hatte der Beschwerdeführer zurückgezogen. Es besteht kein Anlass von der Annahme der Vorinstanz und des Kreisgerichts, das sich eingehend mit dem diesbezüglichen Vorbringen des Beschwerdeführers befasst hatte (S. 17 ff. des Strafurteils), abzuweichen. Im Übrigen hatte Letzterer diesen Einwand beim Verwaltungsgericht nicht (mehr) erhoben.
2.3 Der Beschwerdeführer schliesst sinngemäss aus, dass bei ihm eine Rückfallgefahr bestünde. Er und seine Familie hätten alles unternommen, damit er nicht wieder straffällig werde. Entgegen der Ansicht des Beschwerdeführers ist die Rückfallgefahr jedoch nicht das "einzig wirklich massgebende" Kriterium. Entscheidend ist die Gesamtsituation, wobei in die Abwägung neben dem Rückfallrisiko auch generalpräventive Motive einbezogen werden können (vgl. Urteil des Bundesgerichts 2C_28/2010 vom 25. März 2011 E. 2.3 mit Hinweis). Dessen ungeachtet geht die Vorinstanz in nachvollziehbarer Weise davon aus, dass beim Beschwerdeführer, der aus vorwiegend finanziellen Gründen deliktisch tätig geworden war, eine gewisse Rückfallgefahr besteht, da er noch immer erhebliche Schulden von rund Fr. 100'000.-- hat. Der Hinweis des Beschwerdeführers auf das Aufsuchen eines Schuldenberaters, die Annahme einer Arbeit und die Betreuung der Kinder durch die Grosseltern mütterlicherseits vermag diesen Schluss nicht als rechtsfehlerhaft erscheinen zu lassen. Es bleibt schon unklar, was sich aus der Schuldenberatung für konkrete Lösungsansätze ergeben haben. Angesichts der hohen Schulden steht die Familie - entgegen der Behauptung des Beschwerdeführers - in finanzieller Hinsicht jedenfalls nicht "auf festen Beinen". Ausserdem bestand die geschilderte familiäre und berufliche Ausgangslage im Wesentlichen bereits, als der Beschwerdeführer straffällig wurde. Gegen die Aufarbeitung bzw. Abstandnahme von seiner deliktischen Vergangenheit spricht schliesslich auch, dass sich der Beschwerdeführer - wie erwähnt - entgegen den Ausführungen im rechtskräftigen Strafurteil noch immer als Opfer, das unfreiwillig in den Drogenhandel verwickelt wurde, darzustellen versucht.
2.4 Unbehelflich ist die Rüge des Beschwerdeführers, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt, die Aktenlage "völlig willkürlich" gewürdigt und sämtliche zu seinen Gunsten sprechenden Aspekte "kurzerhand und ohne substanziierte Begründung als nicht ausschlaggebend und nicht massgeblich abgetan". Der Beschwerdeführer zeigt unter anderem nicht präzise auf, welche Sachverhaltselemente fehlerhaft festgestellt oder nicht angemessen gewürdigt worden sein sollen. Sein pauschales Bestreiten bzw. Rügen genügt insoweit nicht (vgl. Art. 42 Abs. 2, 97 Abs. 1, 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4 S. 254 f.).
2.5 Zwar lebte der Beschwerdeführer im Zeitpunkt des Entscheids der ersten Instanz seit rund acht Jahren in der Schweiz. Das ist gewiss nicht mehr eine kurze Aufenthaltsdauer. Doch nach nicht einmal fünf Jahren Aufenthalt beging er bereits die Betäubungsmitteldelikte. Ausserdem wurde er in den Jahren 2005 und 2007 wegen zwei weiteren, geringfügigeren Angelegenheiten belangt. Auch beruflich konnte er nicht richtig Fuss fassen und war immer wieder arbeitslos. Von einer erfolgreichen Integration kann somit nicht die Rede sein. Ob der Ehefrau und den Töchtern eine Ausreise nach Mazedonien zumutbar ist, konnte die Vorinstanz hier zu Recht offen lassen (vgl. im Übrigen die Reneja-Praxis; dazu BGE 135 II 377 E. 4.4 S. 382 f.). Sie nimmt aber richtig an, dass sich die Töchter noch in einem anpassungsfähigen Alter befinden. Sowohl der Beschwerdeführer als auch dessen Ehefrau gelangten mit einem höheren Lebensalter in die Schweiz, ohne je zuvor einen Bezug zum hiesigen Sprach- oder Kulturkreis gehabt zu haben. Obwohl sich die Ehefrau schon länger in der Schweiz aufhielt, heiratete sie den seinerzeit in Mazedonien lebenden Beschwerdeführer. Deshalb ist davon auszugehen, dass ihr nicht nur die Sprache, sondern auch die Kultur ihres Herkunftslandes noch durchaus vertraut ist und sie - wie auch der Beschwerdeführer, dessen Eltern und Bruder sich in Mazedonien befinden - dort Kontakte aufrechterhalten hat.
2.6 Bei einer Gesamtwürdigung ist nicht zu beanstanden, dass die Vorinstanz die Verweigerung, die Aufenthaltsbewilligung des Beschwerdeführers zu verlängern, als verhältnismässig betrachtet. Wie gezeigt, dringt dieser mit den hiegegen erhobenen Rügen nicht durch. Ergänzend wird auf die zutreffenden Ausführungen in den Entscheiden des Verwaltungsgerichts sowie des Sicherheits- und Justizdepartements verwiesen.
3. Die Beschwerde erweist sich mithin als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG mit summarischer Begründung abgewiesen werden kann. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 19. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz