Sachverhalt:
A. Der Schweizer Bürger X._ ersuchte im Januar 2009 bei der Kantonspolizei Aargau, Fachstelle SIWAS (Sicherheitsdienste, Waffen, Sprengmittel), um Erteilung eines Europäischen Feuerwaffenpasses, wobei er weisungsgemäss einen aktuellen Strafregisterauszug vorlegte. Die SIWAS wies das Gesuch ab. Gleichzeitig verfügte sie die Beschlagnahme der Schusswaffen samt Zubehör und Munition, die sich im Besitz von X._ befanden. Zur Begründung gab sie an, X._ weise zwei Einträge im Strafregister auf. Zum einen sei er im Jahr 2007 wegen der Nichtabgabe von Ausweisen oder Kontrollschildern zu einer Geldstrafe von zehn Tagessätzen und zum anderen im Jahr 2008 wegen Führens eines nicht betriebssicheren Fahrzeugs, Fahrens ohne Haftpflichtversicherung sowie erneut wegen Nichtabgabe von Ausweisen oder Kontrollschildern zu einer Geldstrafe von dreissig Tagessätzen verurteilt worden.
Namentlich unter Hinweis darauf, dass es sich bei den beschlagnahmten Waffen um solche handle, die ohne Waffenerwerbsschein erworben werden können, und er seit vielen Jahren Jäger sei, gelangte X._ gegen den Entscheid der Kantonspolizei an den Regierungsrat und anschliessend an das Verwaltungsgericht des Kantons Aargau. Diese wiesen seine Rechtsmittel ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. Februar 2011 beantragt X._ dem Bundesgericht, den in dieser Sache zuletzt ergangenen Entscheid des Verwaltungsgerichts des Kantons Aargau vom 29. November 2010 aufzuheben, ihm den Europäischen Feuerwaffenpass zu bewilligen, die erfolgte Beschlagnahme für unrechtmässig zu erklären und sämtliche am 5. Mai 2009 bei ihm beschlagnahmten Gegenstände zurückzugeben. Eventualiter sei die Angelegenheit zur Neubeurteilung zurückzuweisen.
Die Fachstelle SIWAS der Kantonspolizei sowie das Verwaltungsgericht haben auf eine Vernehmlassung verzichtet und auch keinen Antrag gestellt. Der Regierungsrat hat sich nicht geäussert. Das Bundesamt für Polizei (fedpol) hat für das ebenfalls zur Vernehmlassung eingeladene Eidgenössische Justiz- und Polizeidepartement eine Stellungnahme eingereicht, ohne einen Antrag zu stellen.

Erwägungen:
1. 1.1 Gegen kantonal letztinstanzliche Urteile, welche gestützt auf das Bundesgesetz vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514.54) bzw. die entsprechende Verordnung vom 2. Juli 2008 (Waffenverordnung, WV; SR 514.541) ergehen, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (<ref-law>; vgl. Urteile 2C_797/2008 vom 30. April 2009 E. 1.1, nicht publ. in <ref-ruling>, und 2C_125/ 2009 vom 4. August 2009 E. 1.1). Das fristgerecht (<ref-law>) eingereichte Rechtsmittel des legitimierten Beschwerdeführers (<ref-law>) ist insoweit zulässig.
1.2 Zwar wendet das Bundesgericht gemäss <ref-law> das Recht von Amtes wegen an. Dennoch ist gemäss <ref-law> in der Begründung der Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Mithin muss sich der Beschwerdeführer in seiner an das Bundesgericht adressierten Rechtsschrift mit der Argumentation der Vorinstanz auseinandersetzen. Demzufolge ist insbesondere sein pauschaler Verweis auf die Ausführungen in seinem Rechtsmittel vor dem Verwaltungsgericht unbeachtlich. Da die für das Bundesgericht verfasste Eingabe jedoch selber eine hinreichende Begründung enthält, ist auf die Beschwerde dennoch einzutreten. Hiebei ist in erster Linie auf die darin enthaltenen Ausführungen abzustellen (vgl. allg. <ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.3 S. 306; <ref-ruling> E. 1 S. 288).
2. Der Beschwerdeführer macht geltend, seine Waffen gehörten zu den sog. privilegierten Waffen nach <ref-law>, die im Gegensatz zu den übrigen Schusswaffen ohne Waffenerwerbsschein erworben werden können. Es dürfe daher nicht sein, dass der Besitz bzw. die Beschlagnahme der privilegierten Waffen von denselben Kriterien abhänge wie die anderen Waffen. Das würde <ref-law> widersprechen. Vielmehr müsse insoweit differenziert werden. Bei ihm als Jäger, der Einträge im Strafregister wegen Strassenverkehrsdelikten aufweise, sei deshalb eine Einzelfall- bzw. Verhältnismässigkeitsprüfung angezeigt. Diese habe nicht stattgefunden. Im Übrigen fehle auch eine genügende gesetzliche Grundlage für die Beschlagnahme. Denn für ihn sei nicht erkennbar gewesen, dass seine Waffen beschlagnahmt werden, sobald zwei Strafregistereinträge vorliegen.
3. 3.1 Unstreitig handelt es sich bei den beschlagnahmten Gegenständen um Waffen im Sinne von <ref-law>, die somit unter anderem bezüglich ihres Erwerbs und Besitzes dem Waffengesetz unterliegen (vgl. <ref-law>). Dieses Gesetz hat entsprechend dem verfassungsrechtlichen Auftrag nach <ref-law> zum Zweck, die missbräuchliche Verwendung von Waffen zu bekämpfen (<ref-law>). Auch wenn es hier um Jagdwaffen geht bzw. der Beschwerdeführer Jäger ist, ergibt sich vorliegend aus der eidgenössischen Jagdgesetzgebung, die gemäss <ref-law> vorbehalten bleibt, nichts Besonderes. Die Vorinstanzen stützen die Beschlagnahme beim Beschwerdeführer denn auch auf Art. 31 Abs. 1 lit. b in Verbindung mit <ref-law>.
3.2 Gemäss <ref-law> benötigt derjenige, der eine Waffe erwerben will, einen Waffenerwerbsschein. Keinen solchen Schein erhalten nach <ref-law> Personen, die:
"a. das 18. Altersjahr noch nicht vollendet haben;
b. entmündigt sind;
c. zur Annahme Anlass geben, dass sie sich selbst oder Dritte mit der Waffe gefährden;
d. wegen einer Handlung, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet, oder wegen wiederholt begangener Verbrechen oder Vergehen im Strafregister eingetragen sind, solange der Eintrag nicht gelöscht ist."
Namentlich einschüssige und mehrläufige Jagdgewehre, Nachbildungen von einschüssigen Vorderladern und vom Bundesrat bezeichnete Handrepetiergewehre, die "für Jagdzwecke im Inland üblicherweise verwendet werden", dürfen gemäss <ref-law> ohne Waffenerwerbsschein erworben werden. Die Person, die eine Waffe, welche nach <ref-law> ohne Waffenerwerbsschein erworben werden darf, überträgt, muss die Identität und das Alter des Erwerbers anhand eines amtlichen Ausweises überprüfen (<ref-law>). Die Waffe darf dabei nur übertragen werden, wenn die übertragende Person nach den Umständen annehmen darf, dass dem Erwerb "kein Hinderungsgrund nach Art. 8 Abs. 2 [WG] entgegensteht" (<ref-law>).
Gemäss <ref-law> beschlagnahmt die zuständige Behörde Waffen aus dem Besitz von Personen, die einen Hinderungsgrund nach <ref-law> erfüllen oder die zum Erwerb oder Besitz nicht berechtigt sind. <ref-law> gilt sowohl nach seinem Wortlaut als auch nach der Systematik ebenfalls für die gemäss <ref-law> privilegierten Waffen. Das 7. Kapitel des Waffengesetzes, das <ref-law> enthält, gilt für alle vom Gesetz erfassten Waffen im Sinne von <ref-law>. Auch <ref-law> selbst schliesst seinem Wortlaut zufolge die privilegierten Waffen nicht von seinem Anwendungsbereich aus.
3.3 Das Bundesgericht hat bereits in früheren Urteilen festgehalten, dass nach <ref-law> zwei voneinander zu unterscheidende Hinderungsgründe bestehen: Zum einen die Eintragung im Strafregister wegen einer Handlung, die eine gewalttätige oder gemeingefährliche Gesinnung bekundet. Zum anderen die Eintragung im Strafregister wegen wiederholt begangener Verbrechen oder Vergehen (vgl. zu den beiden letztgenannten Begriffen Art. 10 Abs. 2 und 3 StGB). Bei der ersten Variante müssen die Behörden konkret beurteilen, ob die einer Person vorgeworfene Handlung eine gewalttätige oder gemeingefährliche Gesinnung bekundet. In der zweiten Variante ist der Hinderungsgrund entsprechend dem klaren Gesetzeswortlaut bereits durch die wiederholte Begehung von Verbrechen oder Vergehen erfüllt; es ist nicht zusätzlich zu prüfen, ob die im Strafregister eingetragenen Delikte eine gewalttätige oder gemeingefährliche Gesinnung offenbaren bzw. ob die betreffende Person noch die Gewähr für einen korrekten Umgang mit Waffen bietet; <ref-law> ist insoweit nicht entgegen seinem Wortlaut einschränkend anzuwenden; der Hinderungsgrund ist damit auch erfüllt, wenn es sich bei den beiden im Strafregister eingetragenen Vergehen um solche gegen das Strassenverkehrsgesetz handelt (weiterführend: erwähntes Urteil 2C_125/2009 E. 3.3-3.5; s. auch Urteil 2C_93/2007 vom 3. September 2007 E. 5.1).
3.4 Unbestritten ist, dass der Beschwerdeführer zweimal wegen Vergehen im Strafregister eingetragen ist. Damit stellt <ref-law> vorderhand eine klare und genügende gesetzliche Grundlage für die Beschlagnahme dar. Entgegen den Andeutungen des Beschwerdeführers hat das Bundesgericht im zitierten Urteil 2C_125/ 2009 die Beschlagnahme nicht erst deswegen geschützt, weil neben den beiden Strafregistereinträgen noch zusätzliche Anzeichen für eine Gefährdung gegeben waren (vgl. Urteil 2C_125/2009 E. 3 und 4, insb. E. 3.5).
3.5 Der Beschwerdeführer macht aber geltend, die 2. Variante von <ref-law> - Strafregistereintrag wegen wiederholt begangener Verbrechen oder Vergehen - sei bei Besitzern von privilegierten Waffen im Sinne von <ref-law> einschränkend auszulegen. Es sei eine Einzelfallprüfung vorzunehmen.
An welchen Kriterien sich diese Einzelfallprüfung orientieren bzw. worauf abzustellen sein soll, führt der Beschwerdeführer jedoch nicht näher aus. Offenbar läuft seine Argumentation darauf hinaus, dass eine Beschlagnahme nur dann zulässig sein soll, wenn andere in <ref-law> genannte Hinderungsgründe erfüllt sind. Eine solche Einschränkung sieht das Gesetz für die privilegierten Waffen jedoch nicht vor. Weder Art. 10a Abs. 2 noch <ref-law>, die beide global auf <ref-law> verweisen und (ebenso) für privilegierte Waffen gelten, enthalten entsprechende Differenzierungen zugunsten dieser Waffen. Als Begründung für die Privilegierung - d.h. die Ausnahme von der Waffenerwerbsscheinpflicht - wurde in der Botschaft angegeben, dass die von <ref-law> erfassten Waffen äussert selten zu kriminellen Zwecken missbraucht werden. Sie hätten im Vergleich zu anderen Feuerwaffen ein deutlich geringeres Missbrauchspotenzial (Botschaft vom 11. Januar 2006 zur Änderung des Waffengesetzes, in BBl 2006 2735 Ziff. 3.2.1 zu Art. 10). Daher wurde der Erwerb dieser Waffen gegenüber anderen Feuerwaffen erleichtert, indem geringere Formerfordernisse gestellt werden. Dementsprechend bedarf es für den Erwerb privilegierter Waffen keines - zeitlich begrenzt ausgestellten (vgl. <ref-law>) - Waffenerwerbsscheines. Der Gesetzgeber sah es mithin nicht als nötig an, den Erwerb dieser Waffen in gleichem Masse wie alle anderen Feuerwaffen zu erschweren. Darauf beschränkt sich aber die Privilegierung nach <ref-law>. Das ergibt sich zum einen aus dem Gesetzestext und zum anderen aus der Überschrift zu dieser Bestimmung ("Ausnahmen von der Waffenerwerbsscheinpflicht"). Vor allem in Bezug auf die Hinderungsgründe treffen Art. 10a Abs. 2 und <ref-law> - wie erwähnt - keine Unterscheidung, sondern verweisen pauschal auf die Voraussetzungen nach <ref-law>. Auch aus den Materialien ergibt sich nicht, dass der Gesetzgeber insoweit eine abweichende Handhabung für die privilegierten Waffen beabsichtigte. Ausnahmen bzw. Besonderheiten hat er nur für die leihweise Abgabe von Sportwaffen an unmündige Personen gemäss <ref-law> vorgesehen.
Personen, die Waffen besitzen wollen, müssen mit Blick auf die erhöhten Gefahren, welche von diesen Gegenständen ausgehen, besonders zuverlässig sein. Wie das Bundesgericht bereits bemerkt hat, offenbart derjenige, der wegen wiederholt begangener Verbrechen oder Vergehen im Strafregister eingetragen ist, eine Tendenz, es mit der Wahrung der Rechtsordnung nicht besonders ernst zu nehmen und dabei zudem nicht nur (leichtere) - allenfalls mit Bussen geahndete - Übertretungen zu begehen, sondern sich auch Vergehen oder gar Verbrechen im Sinne von Art. 10 Abs. 2 und 3 StGB schuldig zu machen (erwähntes Urteil 2C_125/2009 E. 3.4; vgl. als Beispiele für die Unterscheidung zwischen Vergehen und Übertretungen Art. 33 und 34 WG sowie Art. 90-103 des Strassenverkehrsgesetzes [SVG; SR 741.01] und Art. 93 der Verkehrsregelnverordnung [VRV; SR 741.11]). Insoweit wird das Vertrauen in die betreffende Person, dass sie weiterhin in jeder Hinsicht ordnungsgemäss mit Waffen umgehen wird, erschüttert. Daran ändert die dargestellte Privilegierung nichts, zumal der Grund hiefür - das deutlich geringere Missbrauchspotenzial - durch das vom Waffenbesitzer wiederholt an den Tag gelegte deliktische Verhalten gerade entfällt. Wie bereits erwähnt, besteht der Sinn und Zweck des Gesetzes darin, die missbräuchliche Verwendung von Waffen zu verhindern. Demzufolge rechtfertigt es sich auch bei den gemäss <ref-law> privilegierten Waffen nicht, Art. 8 Abs. 2 lit. d Variante 2 WG entgegen seinem durchaus strengen, aber vom Gesetzgeber aus Sicherheitsgründen derart gewollten Wortlaut einschränkend anzuwenden (vgl. allg. zur Auslegung gegen den Gesetzeswortlaut: <ref-ruling> E. 6d S. 81; <ref-ruling> E. 3a S. 117, 521 E. 3c/aa S. 525). Mithin genügen - wie ebenfalls das Bundesamt für Polizei meint - die beiden Strafregistereinträge auch für die Beschlagnahme der privilegierten Waffen im Sinne von <ref-law>, ohne dass noch eine weitere Einzelfallprüfung vorzunehmen ist.
3.6 Der Beschwerdeführer weist noch darauf hin, dass das europäische Recht eine Bestimmung enthält, die den Entzug der Bewilligung zum Besitz von Waffen vorsehe (vgl. Art. 5 der Richtlinie 91/447/EWG des Rates der Europäischen Gemeinschaften vom 18. Juni 1991 über die Kontrolle des Erwerbs und des Besitzes von Waffen, ABl. Nr. L 256/51 vom 13. September 1991), während es im nationalen Recht an einer entsprechenden Regelung fehle. Das steht der Beschlagnahme jedoch nicht entgegen, zumal der Besitz von Waffen - im Gegensatz zum gewerbsmässigen Handel mit Waffen, deren Herstellung und Waffentragen (vgl. Art. 17 ff. sowie Art. 27 WG) - nach dem Schweizer Recht grundsätzlich ohne Bewilligung möglich ist (Ausnahmen gemäss Art. 5 Abs. 2 und 4 WG), weshalb diese zum Vornherein auch nicht entzogen werden kann.
Die Beschlagnahme scheitert entgegen der Darstellung des Beschwerdeführers ebenso wenig daran, dass er seine Waffen offenbar ordnungsgemäss beschafft hatte. Wohl heisst es in <ref-law>, zum Besitz einer Waffe sei berechtigt, wer diese rechtmässig erworben habe. <ref-law> sieht indes vor, dass Waffen von Personen beschlagnahmt werden können, die zu ihrem Erwerb oder Besitz nicht berechtigt sind "oder" (frz.: "ou", ital.: "o") bei denen ein Hinderungsgrund nach <ref-law> besteht. Daraus ist ohne weiteres zu schliessen, dass Waffen auch von Personen beschlagnahmt werden können, die an sich gemäss <ref-law> wegen des rechtmässigen Erwerbs zum Besitz berechtigt wären, sofern ein Hinderungsgrund nach <ref-law> gegeben ist. Es würde denn auch keinen Sinn machen, denjenigen Personen ihre Waffen nur deshalb belassen zu müssen, weil sie diese ursprünglich ordnungsgemäss erworben haben, wenn sich später herausstellt, dass sie nicht (mehr) die nötige Zuverlässigkeit gemäss <ref-law> aufweisen. Das widerspräche dem bereits erwähnten Zweck des Gesetzes, die missbräuchliche Verwendung von Waffen zu bekämpfen. Erfüllt eine Person einen Hinderungsgrund, dann besteht der "rechtmässige Zustand" entgegen der Auffassung des Beschwerdeführers letztlich nicht darin, dass sie weiterhin den Besitz an den Waffen behält. Vielmehr wird der rechtmässige Zustand erst dadurch wiederhergestellt, dass der unzuverlässig gewordenen Person der Besitz der Waffen entzogen wird. Der rechtmässige Erwerb spielt insoweit nur noch eine Rolle, wenn es nach der Beschlagnahme und Einziehung der Waffen darum geht, ob dem Betroffenen etwa der Erlös aus deren Verwertung zusteht (vgl. Art. 54 Abs. 3 und 4 WV; <ref-ruling> E. 3 S. 213 ff.).
3.7 Der Beschwerdeführer macht schliesslich geltend, nach seiner Einschätzung würde eine erhebliche Anzahl von Schweizer Jägern zwei Strafregistereinträge aufweisen, ohne dass die Behörden ihre Waffen deswegen beschlagnahmt hätten. Erst infolge der Beantragung des Europäischen Feuerwaffenpasses, mit dem er in Deutschland jagen gehen wollte und für den er den Strafregisterauszug vorlegen musste, seien gegen ihn Massnahmen ergriffen worden.
Dieser Einwand schlägt nicht durch. Der Beschwerdeführer rügt denn auch nicht, die waffenrechtlich zuständige Behörde würde trotz Kenntnis von Strafregistereinträgen anderer Jäger nichts gegen diese unternehmen. Insoweit macht er nicht nach <ref-law> geltend, er wolle im Unrecht gleich behandelt werden (vgl. dazu allg. <ref-ruling> E. 9b S. 121; <ref-ruling> E. 5 S. 166). Die zuständige Behörde hat im Übrigen nicht erklärt oder zu erkennen gegeben, sie würde bei anderen Jägern trotz Kenntnis von Strafregistereinträgen regelmässig von Massnahmen absehen.
3.8 Der Vorinstanz zufolge hat die Kantonspolizei dem Beschwerdeführer eine Frist von sechs Monaten eingeräumt, um eine berechtigte Person oder einen Waffenhandelsbetrieb zu bezeichnen, auf die er seine Waffen überträgt. Nach Löschung mindestens eines Strafregistereintrags könnten ihm die Waffen von der betreffenden Person wieder ausgehändigt werden, wenn kein anderer Hinderungsgrund nach <ref-law> besteht. Das stelle die mildeste Massnahme zulasten des Beschwerdeführers dar. Das ist nicht zu beanstanden, zumal die Behörde beschlagnahmte Gegenstände der eigentumsberechtigten Person gemäss <ref-law> zurückzugeben hat, wenn kein Hinderungsgrund nach <ref-law> besteht. Ob es auch die geeignetste Massnahme ist, muss hier nicht beurteilt werden (vgl. <ref-law> und allg. zur reformatio in peius Urteile des Bundesgerichts 2C_689/2010 vom 4. April 2011 E. 2.3 in fine, in: StE 2011 A 24.43.1 Nr. 22; 6B_165/2011 vom 19. Juli 2011 E. 3.1 und <ref-ruling> E. 3). Auf jeden Fall konnten die Vorinstanzen dem Beschwerdeführer die Waffen wegen der fortbestehenden Strafregistereinträge nicht herausgeben.
4. Der Beschwerdeführer begehrt auch die Bewilligung eines Europäischen Feuerwaffenpasses gemäss <ref-law>. Die Vorinstanz hat dieses Begehren mit der Begründung abgewiesen, dem Beschwerdeführer sei aufgrund der beiden Strafregistereinträge der Besitz von Waffen zur Zeit nicht gestattet. Der Beschwerdeführer setzt sich in Bezug auf <ref-law> nicht mit den Ausführungen der Vorinstanz auseinander. Seine Eingabe beim Bundesgericht erschöpft sich in der Kritik an der Beschlagnahme und an Art. 8 Abs. 2 sowie <ref-law>, welche in den vorstehenden Erwägungen bereits behandelt worden ist. Daher erübrigt sich, auf dieses Begehren weiter einzugehen (vgl. auch <ref-law> und E. 1.2 hievor).
5. Demnach erweist sich die Beschwerde als unbegründet, weshalb sie abzuweisen ist. Auch eine Rückweisung zur Neubeurteilung durch die Vorinstanzen kommt dem Dargelegten zufolge nicht in Frage. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht zugesprochen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Aargau, 4. Kammer, und dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
Lausanne, 29. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz