Faits:
A. La société X._ AG (ci-après: la société), dont le siège est à Z._, a pour but le commerce de bois de tous genres, ainsi que de placages de bois et d'autres matériaux de revêtement de bois. E._, domicilié à l'étranger, en est l'administrateur président avec signature individuelle. Il est en outre actionnaire minoritaire de la société.
Procédant à un contrôle d'employeur, la Caisse interprofessionnelle AVS de la Fédération des entreprises romandes FER CIFA (ci-après: la caisse), à Fribourg, à laquelle la société est affiliée, a constaté que des commissions versées durant les années 2002 à 2005 à E._ n'avaient pas été déclarées à l'assurance-vieillesse et survivants. Considérant que ces commissions faisaient partie du salaire déterminant soumis à cotisations, elle a, par décisions du 8 mai 2007, réclamé à la société les cotisations arriérées AVS/AI/APG/AC et les cotisations au régime des allocations familiales y relatives pour un montant total de 119'998 fr. 15 (y compris les frais administratifs), ainsi que des intérêts moratoires de 21'491 fr. 70. Sur opposition de la société, la caisse a maintenu son point de vue le 2 août 1997.
B. La société a déféré la décision sur opposition à la Cour des assurances sociales du canton de Fribourg, qui, après avoir requis des renseignements complémentaires de sa part, l'a déboutée par jugement du 21 décembre 2010.
C. La société interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Sous suite de frais et dépens, elle conclut à ce que les montants soumis à cotisations soient fixés à 10'000 fr. par année. A titre subsidiaire, elle demande le renvoi du dossier à la caisse, "afin qu'elle détermine le montant qui doit être considéré comme le salaire déterminant d'administrateur de M. E._, sous réserve de la franchise prévue à l'art. 4 al. 2 lit. b LAVS".
La caisse et l'Office fédéral des assurances sociales (OFAS) concluent au rejet du recours.

Considérant en droit:
1. La IIe Cour de droit social du Tribunal fédéral est compétente pour statuer en matière de fixation des cotisations à l'AVS, à l'AI et à l'APG (<ref-law> et 35 RTF). Cela vaut aussi lorsque le litige a trait également, comme en l'espèce, à l'obligation de payer des cotisations à l'assurance-chômage et aux caisses d'allocations familiales régies par le droit cantonal. Bien que l'assurance-chômage et les assurances sociales cantonales entrent formellement dans la compétence de la Ière Cour de droit social (<ref-law>), des raisons d'économie de procédure justifient que la IIe Cour de droit social traite également des aspects du litige y relatifs.
2. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
3. 3.1 Au regard des conclusions de la recourante (qui lient le Tribunal fédéral, cf. <ref-law>) et de ses motifs, on constate qu'elle ne conteste plus, en instance fédérale, qu'une partie des montants qu'elle a versés à son administrateur président, E._, pour les exercices 2002 à 2005 constitue un revenu provenant d'une activité lucrative dépendante qui doit être soumis à cotisations en vertu de l'<ref-law>. Elle reproche en revanche à la juridiction cantonale d'avoir admis que la totalité des sommes versées correspondait à un tel revenu, alors que la majeure partie de celles-ci avait le caractère d'une distribution de bénéfices. Elle conclut à ce que les montants soumis à cotisations soient fixés à 10'000 fr. par année, voire que la caisse soit enjointe de déterminer les montants devant être considérés comme du salaire déterminant.
Devant le Tribunal fédéral, le litige porte donc, dans le cadre de l'obligation d'assurance au sens de l'<ref-law>, sur le point de savoir quel est le montant du salaire déterminant versé à son administrateur président qui doit être soumis à cotisations, dans la mesure où les revenus en cause dépassent 10'000 fr. par année de cotisation (2002 - 2005).
3.2 A cet égard, le jugement attaqué expose de manière complète les règles légales et la jurisprudence sur l'obligation d'assurance des personnes physiques exerçant une activité lucrative en Suisse (<ref-law>; <ref-ruling>) et les cotisations perçues sur le revenu provenant d'une activité dépendante (<ref-law>; <ref-ruling> consid. 1.1 p. 446 et les arrêts cités). Il suffit d'y renvoyer.
4. 4.1 Dans un premier grief, la recourante reproche à la juridiction cantonale de n'avoir pas fait la différence entre la gestion d'une société active en Suisse et la gestion d'une société de domicile, sans activité en Suisse (telle X._ AG) pour laquelle la gestion administrative et opérationnelle se fait à l'étranger, au siège de l'administrateur. Selon elle, les premiers juges ne pouvaient pas "simplement présumer que l'activité de gestion était exercée en Suisse", alors que E._ avait exercé l'essentiel de son activité commerciale pour la société exclusivement à l'étranger.
4.2 Dans la mesure où la recourante entend contester que le prénommé est soumis à l'obligation d'assurance au sens de l'<ref-law> - même si ses conclusions ne vont pas dans ce sens -, son argumentation tombe à faux au regard de la jurisprudence constante du Tribunal fédéral, dûment rappelée et appliquée par les premiers juges. Selon l'<ref-ruling>, est considéré comme exerçant une activité lucrative en Suisse et doit payer des cotisations sur les revenus en découlant celui qui est inscrit au registre du commerce comme administrateur, comme directeur ou au titre d'une autre fonction dirigeante d'une personne morale ayant son siège en Suisse et se trouve en mesure d'exercer une influence déterminante sur l'activité de la société suisse, même s'il a son domicile à l'étranger; peu importe qu'il n'use pas effectivement de ses compétences et que la gestion effective de la société soit déléguée à d'autres personnes.
La juridiction cantonale a constaté que E._, qui est inscrit au registre du commerce comme administrateur président de X._ AG, avec signature individuelle, est en mesure d'exercer une influence déterminante sur l'activité de la recourante, même s'il est domicilié à l'étranger. Il est en effet actif en tant que conseiller pour l'ensemble du groupe canadien T._, s'occupe principalement du développement et du maintien des activités commerciales du groupe dont fait partie la recourante et a permis à celle-ci de développer un réseau commercial fiable grâce à ses contacts commerciaux. Compte tenu de ces constatations, qui ne sont pas remises en cause par la recourante, l'autorité judiciaire de première instance n'a pas violé le droit en retenant que E._ avait exercé une activité lucrative en Suisse et était, de ce fait, assuré au sens de l'<ref-law>. La recourante ne le conteste du reste plus sérieusement en instance fédérale, puisqu'elle admet qu'une partie des montants versés au prénommé constitue un salaire provenant d'une activité lucrative et est soumise à cotisations.
5. 5.1 Invoquant ensuite une violation de l'<ref-law>, la recourante soutient qu'une partie des rétrocessions ne correspondait pas au revenu de l'activité de gestion exercée par l'administrateur président de la société, mais à une distribution de bénéfice. X._ AG avait été mise au bénéfice de la pratique dite 50/50 (par décision de l'Administration fédérale des contributions du 11 septembre 2000), ce qui lui permettait de rétrocéder 50 % de son bénéfice brut à des personnes à l'étranger. Aussi, des rétrocessions avaient été effectuées en faveur de E._, actionnaire minoritaire de la société, qui incluaient une part de distribution de bénéfice, ce dont la juridiction cantonale n'avait pas tenu compte. Celle-ci aurait également négligé le fait que le montant des versements en faveur du prénommé avait fortement varié d'une année à l'autre, puisqu'il avait été fixé en pour cent du bénéfice brut de la société, et était sans commune mesure avec la rémunération usuelle perçue par un administrateur d'une société de domicile. Un tel mode de rémunération était atypique d'un administrateur, mais caractéristique d'une distribution de bénéfice, de sorte que les rétrocessions reposaient davantage sur les rapports société-actionnaire que sur une relation employeur-travailleur et les distributions du bénéfice ne faisaient pas partie du salaire déterminant.
5.2 Conformément aux art. 4 et 5 LAVS, les cotisations AVS sont perçues uniquement sur les revenus provenant d'une activité lucrative, mais non sur le rendement du capital (<ref-ruling> consid. 3b p. 179). Lorsqu'une société anonyme verse des prestations à des employés qui sont en même temps actionnaires de celle-ci, il s'agit, pour déterminer l'impôt fédéral direct comme les contributions de l'assurance sociale, de savoir si et dans quelle mesure ces prestations correspondent à une rémunération du travail (salaire déterminant) ou à une distribution (cachée) du bénéfice (revenu du capital), laquelle est en principe soumise à l'impôt fédéral direct au sens de l'art. 20 al. 1 let. c LIFD, puisqu'elle est fondée sur la qualité d'actionnaire du bénéficiaire. Les versements ou rémunérations qui représentent un pur rendement du capital ne font pas partie du salaire déterminant. Pour opérer une telle délimitation entre le revenu du capital et le salaire déterminant, il faut se fonder sur la nature et la fonction de l'avantage concédé, la qualification juridique ou économique donnée par les parties n'étant à cet égard pas décisive. Selon les circonstances, les sommes prélevées sur le bénéfice net d'une société anonyme peuvent être considérées comme un salaire déterminant, par exemple si elles sont distribuées aux administrateurs sous forme de tantièmes (art. 7 let. h RAVS). Il s'agit d'une rémunération qui trouve un fondement suffisant dans les rapports de travail. Les prestations qui ne peuvent être justifiées par les rapports de travail ne font pas partie du salaire déterminant. De telles distributions de bénéfice sont considérées comme des prestations pécuniaires, c'est-à-dire des prestations qu'une société fournit à ses sociétaires, à elle-même ou à des personnes proches de ses sociétaires sans contrepartie correspondante, mais qu'elle ne fournirait pas à des tiers non concernés dans des circonstances identiques (<ref-ruling> consid. 2.1 p. 299 sv; <ref-ruling>; cf. aussi l'arrêt 9C_302/2011 du 22 juin 2011).
5.3 La juridiction cantonale a retenu en l'occurrence que les sommes versées par la recourante à E._ entre 2002 et 2005 se trouvaient en corrélation avec les rapports de service du point de vue économique, raison pour laquelle elles étaient soumises à cotisations. Selon elle, plusieurs indices parlaient en faveur d'une certaine activité du prénommé au sein de la société: E._ était administrateur président de la recourante; il s'était régulièrement fait rembourser des frais généraux et aucun impôt anticipé n'avait été prélevé sur les montants forfaitaires, alors que l'Administration fédérale des contributions (AFC) avait évoqué des salaires commercialement justifiés de E._ (courrier du 11 septembre 2000).
5.4 En l'occurrence, les constatations de la juridiction cantonale ne sont pas suffisantes pour se prononcer de manière circonstanciée sur le point de savoir si l'ensemble des montants versés au prénommé trouve un fondement suffisant dans des rapports de travail ou dans l'activité déployée par E._ comme membre du conseil d'administration de la société. Le jugement entrepris ne comprend en effet aucune constatation sur la fonction des avantages concédés, ni sur la mesure dans laquelle le prénommé a effectivement exercé une activité pour la recourante qui permettrait de se faire une idée du rapport entre l'activité déployée et les sommes versées. Sur ce point, on constate que les montants fournis à l'administrateur président ont considérablement varié de 2002 à 2005 (445'466 fr., 129'818 fr., 274'597 fr., 7556 fr.) et dépassaient les honoraires versés usuellement aux membres du conseil d'administration d'une petite société commerciale avec deux à trois employés, comme le fait valoir la recourante.
Par ailleurs, contrairement à ce qu'a retenu la juridiction cantonale, on ne peut déduire du fait que la recourante a été mise au bénéfice de la règle de la "pratique 50/50" (cf. Circulaire n° 9 de l'AFC du 19 décembre 2001, in Revue fiscale 3/2002, p. 215 ss [pratique abolie par la Circulaire n° 9 du 22 juin 2005]) que les sommes versées ne constituaient pas une distribution de bénéfice comme le prétend la recourante. Cette pratique permettait à une société de domicile suisse de revendiquer la règle du 50/50 pour les affaires conclues et dirigées depuis l'étranger, et se voir reconnaître forfaitairement 50 % du bénéfice brut comme charges justifiées commercialement, alors que l'actionnaire domicilié à l'étranger était le bénéficiaire d'éventuelles prestations imposables (Circulaire citée, p. 2 et exemples schématiques). A défaut d'éléments au dossier y relatifs, on ignore quelle qualification du point de vue fiscal a été donnée aux versements effectués (et s'ils ont été ou non soumis à un impôt anticipé ou à l'impôt fédéral direct), le courrier de l'AFC du 11 septembre 2000, par lequel le maintien du "Tax-Ruling" est confirmé, ne constituant pas une décision déterminante à cet égard. En d'autres termes, il n'est pas possible, en l'état du dossier, de savoir si la totalité des montants versés par la recourante à E._ de 2002 à 2005 trouve un fondement suffisant dans les rapports de travail, respectivement dans l'activité déployée par l'administrateur président ou repose, en partie du moins, sur le rapport d'actionnariat.
5.5 En conséquence de ce qui précède, il convient de renvoyer la cause à l'intimée pour qu'elle fixe de manière détaillée le montant du salaire déterminant versé par la recourante à E._ pour les années 2002 à 2005 qui doit être soumis à cotisations, puis rende une nouvelle décision.
On rappellera qu'il appartiendra dans ce contexte à la recourante, en vertu de son devoir de collaborer à l'instruction (cf. <ref-law>), de renseigner l'administration de manière détaillée et complète sur la nature et la fonction des versements en cause.
6. Vu l'issue du litige, l'intimée qui succombe supportera les frais judiciaires (<ref-law>). La recourante a droit à une indemnité à titre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, du 21 décembre 2010 et la décision sur opposition de la Caisse interprofessionnelle AVS de la Fédération des entreprises romandes FER-CIFA du 2 août 2007 sont annulés. La cause est renvoyée à la Caisse interprofessionnelle AVS de la Fédération des entreprises romandes FER-CIFA pour qu'elle procède au sens des considérants et rende une nouvelle décision.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge de l'intimée.
3. L'intimée versera à la recourante la somme de 1'800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, pour nouvelle décision sur les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 12 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless