Sachverhalt:
A.
Am 20. Februar 2012 sprach das Veterinäramt des Kantons Appenzell Ausserrhoden (nachfolgend: Veterinäramt) gegen A.A._ ein Tierhalteverbot aus, welches letztinstanzlich vom Bundesgericht mit Urteil 2C_958/2014 vom 31. März 2015 bestätigt wurde. Am 7. Mai 2015 setzte das Veterinäramt A.A._ eine Frist zur Umsetzung des Tierhalteverbots.
Anlässlich einer Kontrolle vor Ort am 12. Juni 2015 wurde das Veterinäramt darüber in Kenntnis gesetzt, dass A.A._ seinen Tierbestand an seine Ehefrau B.A._ verkauft und B.A._ ihren Ehemann als landwirtschaftlichen Mitarbeiter ohne Tierbetreuung angestellt habe. Das Veterinäramt beurteilte dieses Vorgehen als offensichtliche Umgehung des gegen A.A._ verhängten Tierhalteverbots (<ref-law>). In der Folge fanden drei weitere Kontrollen statt, nämlich am 23. September 2015, 13. November 2015 und 10. Februar 2016.
Am 15. Juli 2016 erliess das Veterinäramt eine Verfügung, mit welcher es A.A._ und B.A._ letztmalig eine letzte Frist bis 1. September 2016 einräumte, den rechtmässigen Zustand herzustellen, damit das Tierhalteverbot gegen A.A._ eingehalten ist. B.A._ wurde verpflichtet, allfällige Vollstreckungshandlungen des Veterinäramts zur zwangsweisen Durchsetzung des Tierhalteverbots gegen A.A._ zu dulden. Die Verfügung erwuchs in Rechtskraft.
B.
Mit Verfügung vom 17. Juli 2019 auferlegte das Veterinäramt A.A._ und B.A._ Verfahrenskosten von Fr. 3'708.--. Diese Kosten umfassten die Aufwendungen für die Kontrollen vom 12. Juni 2015 (Fr. 430.--), vom 23. September 2015 (Fr. 261.--), vom 13. November 2015 (Fr. 1'301.--) und vom 10. Februar 2016 (Fr. 690.--) sowie Verrichtungen im Zusammenhang mit der Verfügung vom 15. Juli 2016 (Fr. 846.--) und administrative Verrichtungen durch das Sekretariat (Fr. 180.--).
Einen von A.A._ und B.A._ dagegen erhobenen Rekurs vom 7. August 2019 hiess das Departement Gesundheit und Soziales des Kantons Appenzell Ausserrhoden (nachfolgend: Departement) mit Entscheid vom 20. Januar 2021 dahingehend gut, dass es die Kostenauflage für Verrichtungen im Zusammenhang mit der Verfügung vom 15. Juli 2016 (Fr. 846.--) aufhob. Zudem korrigierte es den verrechneten Zeitaufwand für die Kontrolle vom 10. Februar 2016 insoweit, als es den Kontrollaufwand um Fr. 260.-- reduzierte. Insgesamt schützte es damit die Kostenauflage im Betrag von Fr. 2'602.--.
Eine gegen den Entscheid des Departements erhobene Beschwerde wies das Obergericht des Kantons Appenzell Ausserrhoden mit Urteil des Einzelrichters vom 12. September 2021 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 18. Oktober 2021 (Postaufgabe) gelangen A.A._ und B.A._ an das Bundesgericht. Sie beantragen, der Entscheid des Einzelrichters des Obergerichts vom 12. September 2021 sei aufzuheben und es sei von einer Verrechnung der Verfahrenskosten vom 12. Juni 2015 - 15. Juli 2016 abzusehen. Eventualiter sei die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen des Bundesgerichts an die Vorinstanz zurückzuweisen.
Das Obergericht schliesst auf Abweisung der Beschwerde und verzichtet im Übrigen auf Vernehmlassung. Das Veterinäramt schliesst auf Abweisung der Beschwerde. Das Departement verzichtet auf Vernehmlassung. Das Bundesamt für Lebensmittelsicherheit und Veterinärwesen BLV lässt sich nicht vernehmen.
Die Beschwerdeführer haben repliziert.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid (Art. 86 Abs. 1 lit. d, Art. 90 BGG) auf dem Gebiet des Abgaberechts. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht (Art. 82 lit. a, Art. 83 e contrario BGG) offen. Die Beschwerdeführer, denen die Gebühr auferlegt wurde, nahmen am vorinstanzlichen Verfahren teil und sind als direkte Adressaten des angefochtenen Entscheids zur Beschwerde legitimiert (<ref-law>). Im Übrigen wurde die Beschwerde form- (<ref-law>) und fristgerecht (Art. 100 Abs. 1 i.V.m. <ref-law>) eingereicht, sodass darauf einzutreten ist.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2). Die Verletzung von verfassungsmässigen Individualrechten (einschliesslich der Grundrechte) und von kantonalem Recht prüft das Bundesgericht nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss <ref-law>; <ref-ruling> E. 1.7.2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Deren Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine Sachverhaltsrüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der (vorinstanzlichen) Sachverhaltsfeststellung geht das Gericht nicht ein (<ref-ruling> E. 2.3; <ref-ruling> E. 10.1; <ref-ruling> E. 4.1.2).
3.
Die Beschwerdeführer werfen der Vorinstanz eine Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs (<ref-law>) vor, da sie in E. 2.6 des angefochtenen Urteils pauschal auf die Ausführungen des Departements verwiesen habe.
3.1. Aus dem Anspruch auf rechtliches Gehör folgt unter anderem die Pflicht der Behörde, ihren Entscheid zu begründen. Dabei kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken (<ref-ruling> E. 5.2, mit Hinweisen). Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 9.2; <ref-ruling> E. 3.2).
Die Begründungspflicht ist nur dann verletzt, wenn das Gericht auf die für den Ausgang des Verfahrens wesentlichen Vorbringen selbst implizit nicht eingeht (<ref-ruling> E. 5.2). Wenn eine Rechtsmittelinstanz ihr Urteil durch Verweis auf Erwägungen der unteren Instanz begründet, ist dies mit dem Anspruch auf rechtliches Gehör vereinbar, sofern mit dem Rechtsmittel keine erheblichen Einwände vorgebracht werden, mit denen sich der unterinstanzliche Entscheid nicht bereits auseinandersetzte und die geeignet wären, es in Frage zu stellen. Umgekehrt ist es verfassungswidrig, wenn die Rechtsmittelinstanz trotz neuer, erheblicher Einwände, welche nicht Gegenstand des unterinstanzlichen Entscheides waren, auf eine eigene Begründung verzichtet und bloss auf den unterinstanzlichen Entscheid verweist (Urteil 2C_397/2018 vom 1. Mai 2019 E. 3.2, mit Hinweisen).
3.2. Wie die Vorinstanz in ihrer Vernehmlassung an das Bundesgericht ausführt, hat sie im angefochtenen Urteil nicht pauschal, sondern nur in Bezug auf die Höhe der auferlegten Gebühren auf die Begründung des Departements verwiesen. So hat sie in der von den Beschwerdeführern genannten E. 2.6 festgehalten, das Departement habe die Höhe der auferlegten Gebühren kontrolliert und wo nötig korrigiert. Insoweit könne auf die zutreffenden Ausführungen im angefochtenen Entscheid verwiesen werden. Ein solches Vorgehen ist nach dem Gesagten zulässig, soweit bestimmte Voraussetzungen erfüllt sind (vgl. E. 3.1 hiervor). Dass diese Voraussetzungen hier nicht gegeben sein sollen, legen die Beschwerdeführer nicht konkret dar. Die Rüge der Verletzung des rechtlichen Gehörs erweist sich daher als unbegründet.
4.
Die Beschwerdeführer machen sodann geltend, die Verfahren für welche das Veterinäramt ihnen Kosten auferlegt habe, seien rechtskräftig abgeschlossen. Weil die Kostenverlegung spätestens im Endentscheid zu erfolgen habe, sei es nicht zulässig, nachträglich Gebühren zu erheben. Sie machen in diesem Zusammenhang eine willkürliche Anwendung des kantonalen Rechts geltend, insbesondere von Art. 18 Abs. 1 lit. e des kantonalen Gesetzes vom 9. September 2002 über die Verwaltungsrechtspflege (VRPG/AR; bGS 143.1), wonach Verfügungen unter anderem die Festlegung der Kosten und der Kostentragungspflicht zu enthalten haben.
4.1. Wird festgestellt, dass Tiere vernachlässigt oder unter völlig ungeeigneten Bedingungen gehalten werden, so schreitet die zuständige Behörde unverzüglich ein. Sie kann die Tiere vorsorglich beschlagnahmen und auf Kosten der Halterin oder des Halters an einem geeigneten Ort unterbringen (Art. 24 Abs. 1 Tierschutzgesetz vom 16. Dezember 2005 [TSchG; SR 455]). Nach Art. 39 TschG haben die mit dem Vollzug dieses Gesetzes beauftragten Behörden Zutritt zu den Räumen, Einrichtungen, Fahrzeugen, Gegenständen und Tieren; dabei haben sie die Eigenschaft der Organe der gerichtlichen Polizei. Die Befugnis der kantonalen Fachstellen, namentlich bei landwirtschaftlichen Tierhaltungen, Kontrollen durchzuführen, wird in Art. 213 ff. der Tierschutzverordnung vom 23. April 2008 (TSchV; SR 455.1) konkretisiert. Gemäss <ref-law> i.V.m. <ref-law> sind die Kantone ermächtigt, für Kontrollen, die zu Beanstandungen geführt haben, Gebühren zu erheben.
Nach Art. 4 Abs. 1 der kantonalen Tierschutzverordnung vom 13. Juni 1983 (Tierschutzverordnung/AR bGS 422.2) vollzieht der Kantonstierarzt die Tierschutzgesetzgebung, soweit nichts anderes bestimmt ist. Art. 19 Tierschutzverordnung/AR hält zudem fest, dass namentlich für Kontrollen dem Aufwand entsprechende Gebühren erhoben werden. Die Höhe der Gebühr richtet sich nach der Verordnung vom 31. Mai 2016 über die Entschädigungen und Abgaben im Veterinärwesen (VEAV/AR; bGS 925.321).
4.2. Zunächst ist festzuhalten, dass das Departement in seinem aktenkundigen Entscheid vom 20. Januar 2021 erwogen hat, dass für die Verfügung des Veterinäramtes vom 15. Juli 2016 nachträglich keine Kosten erhoben werden durften. Weil deren in Rechtskraft erwachsenes Dispositiv keine Regelung zu den Verfahrenskosten enthalte, sei davon auszugehen, dass für jene Verfügung keine Kosten auferlegt worden seien. Aus diesem Grund hob das Departement die Kostenauflage für Verrichtungen im Zusammenhang mit der Verfügung vom 15. Juli 2016 auf (vgl. vorne, Sachverhalt B).
Es stellt sich somit einzig die Frage, ob den Beschwerdeführern die Kosten für die Kontrollen des Veterinäramtes vom 12. Juni 2015, 23. September 2015, 13. November 2015 und 10. Februar 2016 sowie für administrative Verrichtungen durch das Sekretariat nachträglich auferlegt werden durften. Nachdem die Beschwerdeführer die Höhe der ihnen auferlegten Gebühr nicht beanstanden, ist lediglich auf das Bestehen der Zahlungspflicht einzugehen.
4.2.1. Die Vorinstanz qualifizierte die erfolgten Kontrollen durch das Veterinäramt als Realakte. Als solche seien sie nicht Bestandteil eines bereits hängigen Verfahrens, sondern erfolgten unabhängig davon. Auch handle es sich nicht um Kosten im Zusammenhang mit der Verfügung vom 15. Juli 2016, sodass der Grundsatz, wonach Verfahrenskosten spätestens im Endentscheid zu verlegen seien, keine Anwendung finde. Es sei daher zulässig, die Kosten der Kontrollen auch später zu verlegen.
4.2.2. Die Beschwerdeführer stellen sich demgegenüber auf den Standpunkt, dass Kontrollen gestützt auf <ref-law> - unter Berücksichtigung von <ref-law> und Art. 8 EMRK - nicht als Realakte, sondern als Verfügungen zu qualifizieren seien. Bleibe es bei den Kontrollberichten, seien die Kosten in den Kontrollberichten zu verlegen. Soweit die Kontrollberichte jedoch - wie vorliegend - Teil eines Verfahrens bildeten, müssten die Kosten spätestens im Endentscheid verlegt werden. Die ihnen auferlegten Gebühren für die Kontrollberichte würden unmittelbare Verfahrenskosten der Verfügung vom 15. Juli 2016 darstellen und hätten spätestens mit jener Verfügung auferlegt werden dürfen.
4.2.3. Als Verfügungen gelten autoritative, einseitige, individuell-konkrete Anordnungen der Behörde, die in Anwendung von Verwaltungsrecht ergangen, auf Rechtswirkungen ausgerichtet sowie verbindlich und erzwingbar sind (<ref-ruling> E. 3.1, mit Hinweisen). In der Ausrichtung auf Rechtswirkungen unterscheidet sich die Verfügung von den Realakten, die auf die unmittelbare Gestaltung der Faktenlage und nicht der Rechtslage gerichtet sind (vgl. <ref-ruling> E. 4.2; <ref-ruling> E. 4.1; <ref-ruling> E. 6.1). Zu den Realakten gehören namentlich polizeiliche Kontrollen (vgl. BGE <ref-ruling> ff.) oder behördliche Auskünfte (vgl. <ref-ruling> E. 3.1).
Entgegen der Auffassung der Beschwerdeführer begründen Kontrollen im Bereich der Tierschutzgesetzgebung keine unmittelbaren Rechte oder Pflichten und erfüllen die Definition der Verfügung nicht. Vielmehr stellen Tierschutzkontrollen faktisches Verwaltungshandeln bzw. Realakte dar (so auch ANTOINE F. GOETSCHEL/A.A._ANDER FERRARI, GAL Tierleitfaden 1.1 für Schweizer Vollzugsbehörden, 2018, S. 40). Die rechtliche Qualifikation der Vorinstanz ist somit nicht zu beanstanden (vgl. E. 2.4 des angefochtenen Urteils).
Folglich ist das Obergericht willkürfrei zum Schluss gelangt, dass Art. 18 Abs. 1 lit. e VRPG/AR, wonach die Verlegung der Verfahrenskosten spätestens im Endentscheid zu erfolgen habe, auf die Kontrollberichte keine Anwendung findet (vgl. E. 2.4 des angefochtenen Urteils).
Wie das Obergericht zudem zu Recht ausführt (vgl. E. 1.3 des angefochtenen Urteils), hat das Bundesgericht im Übrigen in zwei den Beschwerdeführer 1 betreffenden Verfahren bereits erwogen, dass <ref-law> keine schriftliche Anordnung verlange (vgl. Urteil 2C_382/2018 vom 15. März 2019 E. 3.3) bzw. dass Kontrollen gestützt auf diese Bestimmung nach deren Wortlaut keine schriftliche Verfügung vorausgehen müsse (vgl. Urteil 6B_811/2018 vom 25. Februar 2019 E. 1.2). Wie im Verfahren 6B_811/2018 gelingt es den Beschwerdeführern auch im vorliegenden Verfahren nicht, darzutun, weshalb <ref-law> auf solche Kontrollen analog anwendbar sein soll.
4.2.4. Sodann wurde bereits ausgeführt, dass die Erhebung von Gebühren für Kontrollen gesetzlich vorgesehen ist. Voraussetzung dafür ist, dass die Kontrollen zu Beanstandungen geführt haben (<ref-law> i.V.m. <ref-law>; vgl. E. 4.1 hiervor). Dass dies vorliegend der Fall war, lässt sich den unbestrittenen Sachverhaltsfeststellungen der Vorinstanz entnehmen (vgl. E. 2.6 des angefochtenen Urteils). Das Bundesrecht enthält darüber hinaus keine Vorgaben hinsichtlich des Zeitpunkts oder der Modalitäten der Gebührenerhebung. Insbesondere ergibt sich aus dem Bundesrecht nicht, dass die Gebührenauferlegung - wie die Beschwerdeführer behaupten - nur dann separat erfolgen dürfe, wenn aufgrund der durchgeführten Kontrollen keine Verfügung ergeht.
4.2.5. Schliesslich führt die Vorinstanz aus, dass sich das Veterinäramt bei seiner Verfügung vom 15. Juli 2016 zwar auf die durchgeführten Kontrollen gestützt habe, die jeweiligen Kontrollberichte jedoch nicht Teil des Beweisverfahrens in dem der fraglichen Verfügung zugrundeliegenden Verfahren gebildet hätten. Daher handle es sich nicht um Kosten jenes Verfahrens, die gestützt auf Art. 18 Abs. 1 lit. e VRPG/AR in der Verfügung vom 16. Juli 2016 zu regeln gewesen wären (vgl. E. 2.4 des angefochtenen Urteils).
Da es vorliegend um kantonales Verfahrensrecht geht, dessen Anwendung und Auslegung das Bundesgericht nur auf Willkür hin prüft, wäre es an den Beschwerdeführern gelegen, substanziiert darzutun, inwiefern die vorinstanzliche Rechtsanwendung, wonach die Kosten der Kontrollberichte nicht zu den Kosten der Verfügung vom 15. Juli 2016 gehören, offensichtlich unhaltbar ist (vgl. E. 2.1 hiervor). Indem sie sich im Wesentlichen darauf beschränken, die Ausführungen des Obergerichts zu bestreiten und diesen ihre eigene Auffassung entgegenzusetzen, genügen ihre Vorbringen der qualifizierten Begründungspflicht für Rügen betreffend das kantonale Recht nicht.
Soweit die Beschwerdeführer unter Anrufung des Grundsatzes von Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV; vgl. zu dessen Tragweite <ref-ruling> E. 5.1.1; <ref-ruling> E. 6.1) geltend machen, die Kostenverlegung für die Verfügung vom 15. Juli 2016 dürfe nicht mit separater Verfügung erfolgen, wurde bereits erwogen, dass ein solches Vorgehen vom Departement als unzulässig erachtet wurde (vgl. E. 4.2 hiervor). Im Übrigen vermögen sie nicht aufzuzeigen, worin sie eine Vertrauensgrundlage erblicken, wonach die Verfahrenskosten der Verfügung vom 15. Juli 2016 auch die Kosten für die hier strittigen Kontrollberichte hätte beinhalten müssen.
5.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen. Bei diesem Ausgang des Verfahrens werden die unterliegenden Beschwerdeführer unter solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Obergericht Appenzell Ausserrhoden, Einzelrichter, und dem Bundesamt für Lebensmittelsicherheit und Veterinärwesen BLV mitgeteilt.
Lausanne, 26. Januar 2022
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: F. Aubry Girardin
Die Gerichtsschreiberin: D. Ivanov