Faits: A. X._, ressortissant macédonien né en 1983, a épousé en Macédoine, le 13 décembre 2005, une compatriote résidant en Suisse au bénéfice d'une autorisation d'établissement. Il est venu rejoindre son épouse en Suisse le 21 mars 2007, ayant reçu, à partir de cette date, une autorisation de séjour au titre du regroupement familial. Par ordonnance du 10 octobre 2007, l'Office des juges d'instruction de l'arrondissement Jura bernois-Seeland a condamné X._ à une amende de 500 fr. pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants (LStup, RS 812.121), au motif qu'il avait été trouvé en possession d'héroïne le 30 août 2007, à A._. En date du 25 janvier 2008, les époux X._ ont eu un fils, prénommé Y._. Le 21 mars 2008, l'autorisation de séjour de l'intéressé a été prolongée jusqu'au 20 mars 2010. Par jugement du 1er décembre 2009, le Tribunal correctionnel de l''arrondissement de l'Est vaudois a condamné X._ à une peine de dix-huit mois d'emprisonnement avec sursis pendant trois ans pour infraction grave et contravention à la LStup. B. Le 15 février 2010, le Service de la population du canton de Vaud (ci-après: le SPOP) s'est déclaré disposé à prolonger l'autorisation de séjour de X._, et a transmis son dossier à l'Office fédéral des migrations pour approbation. Il a également adressé un avertissement au prénommé, en l'invitant à faire en sorte que son comportement ne donne pas lieu à une nouvelle condamnation. Par décision du 26 mars 2010, l'Office fédéral des migrations, après avoir donné X._ l'occasion de s'exprimer, a refusé de prolonger son autorisation de séjour et lui a imparti un délai pour quitter la Suisse. Il s'est fondé sur les deux condamnations pénales dont l'intéressé avait fait l'objet et a considéré que l'intérêt public de la Suisse à assurer la sécurité sur son territoire l'emportait sur l'intérêt privé de X._ à pouvoir y rester. Saisi d'un recours dirigé contre la décision précitée de l'Office fédéral des migrations, le Tribunal administratif fédéral l'a rejeté, par arrêt du 14 janvier 2011. Les juges ont retenu, en substance, que la condamnation pénale du 1er décembre 2009 constituait un motif de révocation de l'autorisation de séjour de X._ et que l'Office fédéral des migrations avait respecté le principe de la proportionnalité au regard de la durée du séjour en Suisse de l'intéressé, de son degré d'intégration, de son comportement en général et du préjudice qu'il aurait à subir, ainsi que sa famille, du fait de son départ forcé de Suisse. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 14 janvier 2011 et de renvoyer la cause à l'Office fédéral des migrations pour qu'il approuve l'octroi d'une autorisation de séjour en sa faveur. Il fait valoir que la pesée des intérêts publics et privés à laquelle le Tribunal administratif fédéral s'est livrée est arbitraire. Le Tribunal administratif fédéral et l'Office fédéral des migrations renoncent à se prononcer sur le recours.