Faits: A. X._, né en 1963, ressortissant britannique titulaire d'une autorisation d'établissement en Suisse, est placé sous curatelle volontaire et bénéficie d'une rente ordinaire simple d'invalidité pour un degré d'incapacité de travail de 80% avec effet au 1er novembre 1993. Tel que le résume le rapport d'expertise médicale judiciaire établi le 13 janvier 2010, il souffre de divers troubles de santé physique comme psychique. Toxicomane à l'héroïne actuellement sous méthadone, il est atteint d'une hépatite C chronique, d'un status post-hépatite B et d'une hépatite A. Il présente de plus une dépendance à l'alcool de sévérité modérée qui entrave le traitement de son hépatite C, ce qui risque d'engager son pronostic vital. Ayant tenté de se suicider en 1995 et consommant quotidiennement des benzodiazépines et d'autres médicaments, X._ présente une certaine labilité émotionnelle et des symptômes dépressifs. En outre, une première expertise psychiatrique du 10 juillet 1996 avait retenu des troubles mentaux et des troubles du comportement liés à l'utilisation d'opiacés, ainsi qu'à l'utilisation d'alcool, chez un patient présentant une personnalité psychotique fragile, aux défenses rigides, tolérant peu l'angoisse. X._ détient plusieurs armes à feu à son domicile, à savoir notamment: deux fusils semi-automatiques SIG, modèle 57, calibre 7,50 mm; un mousqueton, modèle 1911, calibre 7,50 mm; un mousqueton, modèle 1931, calibre 7,50 mm; une carabine de match Anchutz, modèle 54, calibre 22 LR; un pistolet SIG-SAUER, modèle P-220 ARMEE, calibre 9,00 mm para et un revolver, modèle 1895. Il est membre d'un club de tir sportif depuis le 12 mars 2003. A la suite du dépôt, le 26 septembre 2007, d'une demande de permis d'acquisition d'armes, la police cantonale vaudoise (ci-après: la Police cantonale) a requis des renseignements à son sujet. B. Par décision du 31 janvier 2008, la Police cantonale a non seulement rejeté la demande d'autorisation de X._, mais a également ordonné le séquestre de toutes les armes à feu détenues par l'intéressé, ainsi que la vente de celles-ci, le produit lui en revenant sous déduction des frais de dépôt. La Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ contre cette décision par arrêt du 23 avril 2010. En substance, les juges cantonaux ont considéré que l'appréciation de la Police quant à la dangerosité de X._ et au risque d'usage abusif des armes justifiant une confiscation définitive, était conforme au droit. C. Agissant par la voie du "recours de droit administratif" formé le 26 mai 2010, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 23 avril 2010 en levant le séquestre de ses armes et en les lui restituant. Il demande par ailleurs l'octroi de l'effet suspensif, de même que l'assistance judiciaire. Par ordonnance présidentielle du 9 juin 2010, le Tribunal fédéral a admis la demande d'effet suspensif dans le sens où les armes séquestrées ne pourront pas être vendues.