Faits:
A. Active dans le domaine de l'informatique, la société X._ (ci-après: la société) a été fondée par E._ et B._ en 1996. Elle était affiliée en qualité d'employeur auprès de la Caisse cantonale genevoise de compensation (ci-après: la caisse). E._ en était l'administrateur unique, avec signature individuelle.
Dès 2001, la caisse a rencontré des difficultés dans le recouvrement des cotisations sociales et a adressé plusieurs rappels et sommations à la société. La faillite de la société a été ouverte le 19 avril 2005, puis suspendue faute d'actifs et clôturée le 5 décembre 2006.
Par décision du 10 mars 2008, la caisse a réclamé à B._ la réparation du dommage qu'elle encourait en raison de l'insolvabilité de la société, soit un montant de 78'887 fr. 35, représentant les cotisations paritaires restées impayées sur les salaires versés par la société pendant les années 2002 à 2006 (y compris les frais et les intérêts moratoires). Saisie d'une opposition, la caisse a confirmé sa décision le 4 février 2009.
B. Par jugement du 17 novembre 2009, le Tribunal cantonal des assurances sociales de la République et canton de Genève a rejeté le recours formé par l'intéressé à l'encontre de la décision sur opposition du 4 février 2009.
C. B._ interjette un recours en matière de droit public contre ce jugement en concluant à son annulation, subsidiairement au renvoi de la cause à la juridiction cantonale pour qu'elle statue à nouveau dans le sens des considérants ou procède aux enquêtes nécessaires à l'établissement des faits pertinents, le tout sous suite de frais et dépens.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> auquel cas il peut les rectifier ou les compléter d'office (<ref-law>).
2. Le litige porte sur la responsabilité du recourant en qualité d'organe de fait de la société X._ pour le dommage subi par la caisse intimée ensuite du non-paiement de cotisations paritaires afférentes aux années 2002 à 2006, au sens de l'<ref-law>.
Le tribunal cantonal des assurances a exposé correctement les règles légales et les principes jurisprudentiels applicables en matière de responsabilité de l'employeur et de ses organes, de sorte qu'on peut y renvoyer.
3. Le recourant conteste sa qualité d'organe de la société. Il reproche en substance au tribunal cantonal d'avoir procédé à une constatation manifestement incomplète des faits, assortie d'une violation du droit à la preuve et de son droit d'être entendu, en ce qu'il n'aurait pas tenu compte de circonstances propres à le disculper.
4. 4.1 Les premiers juges ont constaté que le recourant avait été l'un des fondateurs de la société et était l'un de ses principaux actionnaires; que son salaire était parmi les plus élevés de la société, s'étant accru au fil des ans pour atteindre en 2003 un montant équivalent à celui de l'administrateur E._; que ce faisant, il se plaçait dans la même position qu'un organe dirigeant. Se fondant sur les déclarations de B._ en audience de comparution personnelle, ils ont également retenu que celui-ci était titulaire de la signature bancaire collective à deux et qu'il accompagnait le directeur à la banque pour effectuer les paiements, ce qui renforçait l'idée d'une position dépassant celle d'un simple subordonné. Il n'était par ailleurs pas plausible de croire que lorsqu'il avait repris les tâches du directeur en 2002, le recourant avait été obligé de se référer à l'administrateur pour toute décision relative à son activité, vu le désintérêt et le manque d'expérience de ce dernier. Il avait ainsi reconnu avoir été le principal interlocuteur des créanciers de la société, dont la caisse, montrant ainsi qu'il était conscient de l'impact que pouvaient avoir lesdites créances sur l'avenir de la société. Il n'aurait de surcroît pas pu jouer ce rôle sans pouvoir décider, voire intervenir, sur les mesures à prendre pour respecter ses engagements. Les premiers juges ont en outre relevé que le courrier adressé par le recourant à la caisse le 24 novembre 2006 confirmait l'implication de ce dernier dans la gestion de la société et le désintérêt de l'administrateur. Cela étant, les premiers juges ont considéré que B._ avait agi en qualité d'organe de fait, et que sa responsabilité dans le dommage subi par la caisse était engagée.
4.2 Contrairement à ce que prétend le recourant, on ne saurait reprocher à la juridiction cantonale de ne pas avoir investigué plus avant la question de savoir s'il était organe de fait. Au vu de ses déclarations en audience devant la juridiction cantonale, dans lesquelles il reconnaissait explicitement avoir participé, au même titre que l'administrateur E._, aux décisions importantes en matière de gestion de la société, notamment de s'être demandé à plusieurs reprises s'il ne fallait pas déposer le bilan, d'avoir fait une confiance aveugle au responsable d'une société financière et d'avoir fait passer en priorité le remboursement d'un prêt de 120'000 fr., il n'apparait pas manifestement inexact de la part des premiers juges d'avoir retenu qu'il était organe de fait et qu'au vu des décisions prises, sa responsabilité était engagée. Les autres conditions de la responsabilité du recourant à l'égard de la caisse de compensation n'étant par ailleurs pas contestées, il n'y a pas lieu de les examiner.
5. Vu ce qui précède, le recours est mal fondé. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Pour le même motif, il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à E._, au Tribunal cantonal des assurances sociales de la République et canton de Genève Chambre 1 et à l'Office fédéral des assurances sociales.
Lucerne, le 24 août 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz Perrin