Faits:
Faits:
A. La société X._ Sàrl, spécialisée dans le commerce en gros des fruits et légumes, était affiliée en qualité d'employeur auprès de la Caisse de compensation AVS du commerce de gros et de transit (ci-après : la caisse). Confrontée à des problèmes de liquidités, elle ne s'est plus acquittée du paiement des cotisations paritaires à partir du mois d'avril 2000; l'ouverture de sa faillite a été prononcée avec effet au 27 novembre 2001.
Par décisions du 9 octobre 2002, la caisse a réclamé à A._, B._, C._ et D._, en leur qualité d'associés-gérants de la société depuis le 3 avril 2000, le paiement de 160'201 fr. 80 en réparation du dommage résultant du non-paiement par celle-ci, de cotisations paritaires correspondant à la période courant du mois d'avril 2000 au mois d'octobre 2001. Le 26 novembre 2002, elle a notifié une autre décision en réparation du dommage subi à E._, gérant de la société depuis le 14 juillet 1988.
Par décisions du 9 octobre 2002, la caisse a réclamé à A._, B._, C._ et D._, en leur qualité d'associés-gérants de la société depuis le 3 avril 2000, le paiement de 160'201 fr. 80 en réparation du dommage résultant du non-paiement par celle-ci, de cotisations paritaires correspondant à la période courant du mois d'avril 2000 au mois d'octobre 2001. Le 26 novembre 2002, elle a notifié une autre décision en réparation du dommage subi à E._, gérant de la société depuis le 14 juillet 1988.
B. Les prénommés ayant tous formé opposition, la caisse a ouvert action en mainlevée contre chacun d'eux devant le Tribunal administratif de la République et du canton de Neuchâtel par demandes datées du 2 décembre 2002 et du 27 janvier 2003, en concluant à ce qu'ils soient condamnés solidairement à lui payer les montants réclamés (y compris les frais et les intérêts). Par jugement du 28 janvier 2004, la juridiction cantonale a entièrement admis les prétentions émises par la caisse à l'encontre de A._, B._, C._ et D._. Par contre, elle les a rejetées s'agissant de E._, au motif qu'il n'avait plus été en mesure d'influencer de manière déterminante la gestion de la société à partir du 31 mars 2000 à la suite d'une incapacité totale de travail subie dès ce jour.
B. Les prénommés ayant tous formé opposition, la caisse a ouvert action en mainlevée contre chacun d'eux devant le Tribunal administratif de la République et du canton de Neuchâtel par demandes datées du 2 décembre 2002 et du 27 janvier 2003, en concluant à ce qu'ils soient condamnés solidairement à lui payer les montants réclamés (y compris les frais et les intérêts). Par jugement du 28 janvier 2004, la juridiction cantonale a entièrement admis les prétentions émises par la caisse à l'encontre de A._, B._, C._ et D._. Par contre, elle les a rejetées s'agissant de E._, au motif qu'il n'avait plus été en mesure d'influencer de manière déterminante la gestion de la société à partir du 31 mars 2000 à la suite d'une incapacité totale de travail subie dès ce jour.
C. A._, B._, C._ et D._ interjettent recours de droit administratif contre ce jugement dont ils requièrent l'annulation, en concluant, sous suite de frais et dépens, principalement à ce que la caisse soit déboutée de toutes ses prétentions, subsidiairement au renvoi de la cause à l'instance précédente pour complément d'instruction et nouveau jugement.
La caisse conclut au rejet du recours, tandis que E._, invité à répondre au recours en qualité d'intéressé, et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. 1.1 Le litige porte sur la responsabilité des recourants au sens de l'<ref-law> et de la jurisprudence y relative (<ref-ruling> consid. 5b et les références) dans le préjudice causé à la caisse intimée par la perte de cotisations paritaires.
1.2 La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1.3 La Cour cantonale a rappelé correctement les dispositions légales et réglementaires, ainsi que la jurisprudence applicables en matière de responsabilité de l'employeur (<ref-law>) et des organes de celui-ci, de sorte qu'il suffit de renvoyer à leur jugement.
1.3 La Cour cantonale a rappelé correctement les dispositions légales et réglementaires, ainsi que la jurisprudence applicables en matière de responsabilité de l'employeur (<ref-law>) et des organes de celui-ci, de sorte qu'il suffit de renvoyer à leur jugement.
2. En l'espèce, la juridiction cantonale tient les recourants pour responsables du préjudice subi par la caisse, considérant qu'au moment où ceux-ci ont pris la décision de différer le paiement des cotisations, ils n'avaient pas de raisons sérieuses et objectives de penser qu'ils pourraient s'en acquitter dans un délai raisonnable. En particulier, elle estime qu'ils n'ont pas établi avoir sollicité une augmentation de la ligne de crédit hypothécaire ouverte en faveur de l'entreprise auprès de la Banque Y._ ou entamé des démarches tendant à la vente des biens-fonds dont celle-ci était propriétaire. Elle observe en outre que la société avait suspendu ses paiements, formant systématiquement opposition aux commandements de payer qui lui étaient notifiés, lesquels étaient devenus particulièrement nombreux depuis le début de l'année 2000.
2. En l'espèce, la juridiction cantonale tient les recourants pour responsables du préjudice subi par la caisse, considérant qu'au moment où ceux-ci ont pris la décision de différer le paiement des cotisations, ils n'avaient pas de raisons sérieuses et objectives de penser qu'ils pourraient s'en acquitter dans un délai raisonnable. En particulier, elle estime qu'ils n'ont pas établi avoir sollicité une augmentation de la ligne de crédit hypothécaire ouverte en faveur de l'entreprise auprès de la Banque Y._ ou entamé des démarches tendant à la vente des biens-fonds dont celle-ci était propriétaire. Elle observe en outre que la société avait suspendu ses paiements, formant systématiquement opposition aux commandements de payer qui lui étaient notifiés, lesquels étaient devenus particulièrement nombreux depuis le début de l'année 2000.
3. De leur côté, les recourants exposent que le montant de l'emprunt hypothécaire auprès de la Banque Y._ s'élevait non pas à 900'000 fr. comme retenu par les premiers juges, mais à 500'000 fr. Compte tenu de la valeur des biens-fonds hypothéqués évaluée à 1'910'000 fr. selon une estimation du 23 février 2000, ils se sont attendus à ce que la Banque Y._ consente à une augmentation de cette dette ou qu'à défaut, la réalisation des biens-fonds hypothéqués permette à la société de s'acquitter de l'ensemble de ses obligations au nombre desquelles figuraient notamment les cotisations arriérées. Estimant que seule l'ouverture de la faillite les en avait empêchés, ils considèrent ne pas être responsables du dommage subi par la caisse.
3. De leur côté, les recourants exposent que le montant de l'emprunt hypothécaire auprès de la Banque Y._ s'élevait non pas à 900'000 fr. comme retenu par les premiers juges, mais à 500'000 fr. Compte tenu de la valeur des biens-fonds hypothéqués évaluée à 1'910'000 fr. selon une estimation du 23 février 2000, ils se sont attendus à ce que la Banque Y._ consente à une augmentation de cette dette ou qu'à défaut, la réalisation des biens-fonds hypothéqués permette à la société de s'acquitter de l'ensemble de ses obligations au nombre desquelles figuraient notamment les cotisations arriérées. Estimant que seule l'ouverture de la faillite les en avait empêchés, ils considèrent ne pas être responsables du dommage subi par la caisse.
4. 4.1 Les premiers juges ont constaté de manière à lier la Cour de céans que la société a suspendu ses paiements et formé systématiquement opposition aux commandements de payer que ses créanciers lui ont fait notifier, lesquels sont devenus fort nombreux depuis le début de l'année 2000. C'est en particulier à partir de cette période que l'entreprise n'a plus été à même de s'acquitter du paiement des cotisations paritaires. Ses dettes se sont ainsi progressivement accumulées jusqu'à atteindre un montant total de 900'000 fr., selon les propres déclarations des recourants.
4.2 Ces éléments établissent qu'à partir du début de l'année 2000 au plus tard, la société a souffert d'un manque chronique de liquidités. Le fait que les recourants aient envisagé d'assainir la situation économique très précaire de l'entreprise moyennant la vente d'actifs sociaux démontre que cette situation n'était pas passagère et que la survie de l'entreprise n'était objectivement pas envisageable à plus ou moins long terme. Dans ces circonstances, le refus de la Banque Y._ d'accorder à la société une augmentation de son emprunt ne constituait nullement une circonstance imprévisible faisant apparaître comme non fautive une violation des prescriptions en matière d'AVS.
Quant aux biens-fonds de la société, bien qu'évalués à 1'910'000 fr. ou 1'345'000 fr. selon une estimation effectuée le 9 juin 2000 à la demande de la Banque Y._, le produit de leur réalisation s'avérait aléatoire en tant qu'il dépendait des conditions de vente (lesquelles pouvaient se révéler particulièrement défavorables en cas d'adjudication forcée), de l'état du marché immobilier, du contexte économique, ainsi que du bon vouloir du potentiel acquéreur. Aussi ne saurait-on admettre que la société pouvait retarder le paiement des cotisations sociales, en espérant que les capitaux tirés d'une hypothétique vente immobilière lui permettraient un jour ou l'autre d'éponger ses dettes courantes envers les assurances sociales.
4.3 Pour le reste, les recourants s'en prennent vainement aux constatations de fait des premiers juges. En tant que ces derniers indiquent en pages 3 et 8 du jugement entrepris que "la société devait 900'000 francs à une banque", ils ne font que citer les allégués des recourants figurant dans leur réponse du 16 janvier 2003 au Tribunal administratif cantonal sans pour autant constater de manière à lier la Cour de céans que l'entreprise était redevable d'un emprunt hypothécaire du même montant auprès de la Banque Y._. En outre, il ne ressort aucunement du jugement entrepris que le montant de cette dette s'élevât à 900'000 fr. Au reste, il n'est pas décisif de déterminer si ce crédit était de 500'000 fr. ou 900'000 fr., dès lors que la somme totale des dettes de l'entreprise est établie et non contestée. Les critiques des recourants ne sont ainsi pas de nature à démontrer l'inexactitude manifeste des constatations de fait de la juridiction cantonale au sens de l'art. 105 al. 2 OJ, de sorte qu'un complément d'instruction ne s'impose pas.
4.4 Sur le vu de ce qui précède, les premiers juges ont à juste titre considéré qu'au moment de différer le paiement des cotisations sociales, les recourants n'avaient pas de raisons sérieuses et objectives de penser qu'ils pourraient s'en acquitter dans un délai raisonnable. Aussi ces derniers n'étaient-ils pas autorisés, aux conditions posées par la jurisprudence (cf. <ref-ruling>; RCC 1992 p. 261 consid. 4b), à différer le paiement des cotisations retenues sur les salaires payés, sans que leur comportement ne tombe sous le coup de l'<ref-law>.
4.4 Sur le vu de ce qui précède, les premiers juges ont à juste titre considéré qu'au moment de différer le paiement des cotisations sociales, les recourants n'avaient pas de raisons sérieuses et objectives de penser qu'ils pourraient s'en acquitter dans un délai raisonnable. Aussi ces derniers n'étaient-ils pas autorisés, aux conditions posées par la jurisprudence (cf. <ref-ruling>; RCC 1992 p. 261 consid. 4b), à différer le paiement des cotisations retenues sur les salaires payés, sans que leur comportement ne tombe sous le coup de l'<ref-law>.
5. Quant au montant du dommage, il n'est ni contesté ni sujet à discussion. Il représente les cotisations d'assurances sociales impayées par la société au cours des mois d'avril 2000 à octobre 2001, période durant laquelle les recourants agissaient pour celle-ci en qualité d'associés-gérants.
5. Quant au montant du dommage, il n'est ni contesté ni sujet à discussion. Il représente les cotisations d'assurances sociales impayées par la société au cours des mois d'avril 2000 à octobre 2001, période durant laquelle les recourants agissaient pour celle-ci en qualité d'associés-gérants.
6. Sur le vu de ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
6. Sur le vu de ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
7. La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario), et l'émolument judiciaire doit être calculé en fonction de la valeur litigieuse (art. 153a OJ), in casu 160'201 fr. 80. Les recourants qui succombent, supportent les frais de justice (art. 156 al. 1 OJ), de même qu'ils n'ont pas droit à une indemnité de dépens.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 6'000 fr., sont mis à la charge des recourants et sont compensés avec l'avance de frais, d'un même montant, qu'ils ont versée.
2. Les frais de justice, d'un montant de 6'000 fr., sont mis à la charge des recourants et sont compensés avec l'avance de frais, d'un même montant, qu'ils ont versée.
3. Le présent arrêt sera communiqué aux parties, à E._, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 29 mars 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: