Sachverhalt:
A. Am 4. Mai 2009 ersuchte der Verein X._ (mit Sitz in A._) beim Volkswirtschaftsdepartement des Kantons Schaffhausen, Amt für Justiz und Gemeinden, um Erteilung einer Betriebsbewilligung für ein Heim für verhaltensauffällige Jugendliche. Im März 2010 leitete das Amt für Justiz und Gemeinden, nachdem es zuvor einen positiven Entscheid bereits in Aussicht gestellt hatte, das Gesuch zuständigkeitshalber an die Vormundschaftsbehörde A._ weiter.
B. Nach Einholung diverser Unterlagen und Durchführung einer Anhörung des Gesuchstellers lehnte die Vormundschaftsbehörde A._ das Gesuch um Erteilung einer Betriebsbewilligung für ein Kinderheim mit Beschluss vom 19. Juli 2010 ab. Eine vom Verein X._ dagegen erhobene Beschwerde wiesen das Volkswirtschaftsdepartement des Kantons Schaffhausen mit Entscheid vom 15. Oktober 2010 bzw. anschliessend das Obergericht des Kantons Schaffhausen mit Urteil vom 8. Juli 2011 ab.
C. Mit Eingabe vom 12. September 2011 hat der Verein X._ - der vorinstanzlichen Rechtsmittelbelehrung folgend - Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Er beantragt, das Urteil des Obergerichts vom 8. Juli 2011 sei aufzuheben und "es sei dem Beschwerdeführer, mithin der Trägerschaft, die ersuchte Betriebsbewilligung für die Betreibung eines Heims für verhaltensauffällige Jugendliche in A._ zu erteilen". Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Gerügt wird im Wesentlichen die Verletzung des Anspruchs auf rechtliches Gehör sowie des Willkürverbots.
D. Das Obergericht und das Volkswirtschaftsdepartement des Kantons Schaffhausen sowie die Vormundschaftsbehörde A._ schliessen auf Abweisung der Beschwerde. Der Beschwerdeführer hält mit Eingabe vom 29. Dezember 2011 an seinen Anträgen fest.
Erwägungen:
1. 1.1 Angefochten ist ein Entscheid über die Verweigerung der Bewilligung zur Aufnahme von Kindern in Heimpflege gemäss Art. 13 ff. der Verordnung vom 19. Oktober 1977 über die Aufnahme von Kindern zur Pflege und zur Adoption (PAVO; SR 211.222.338). Der auf dem Gebiet des Kindesschutzes (vgl. Art. 307 ff. ZGB) ergangene Entscheid unterliegt der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. b Ziff. 7 BGG; vgl. Urteile 5A_705/2010 vom 14. März 2011 E. 1.1; 5A_619/2008 vom 16. Dezember 2008 E. 1.1). Der Entscheid betrifft eine nicht vermögensrechtliche Angelegenheit, wurde vom Obergericht als letzter kantonaler Instanz erlassen und schliesst das Verfahren ab (Art. 75, Art. 90 BGG). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
Der Beschwerdeführer hat übereinstimmend mit der Rechtsmittelbelehrung des angefochtenen Entscheides eine Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. Die falsche Bezeichnung des Rechtsmittels schadet dem Beschwerdeführer nicht, sofern bezüglich des jeweils statthaften Rechtsmittels sämtliche Sachurteilsvoraussetzungen erfüllt sind (BGE 136 II 497 E. 3.1 S. 499; 134 III 379 E. 1.2 S. 382). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist damit vorliegend als Beschwerde in Zivilsachen entgegenzunehmen.
1.2 Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, ist durch den angefochtenen Entscheid besonders berührt und besitzt ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung, womit er zur Beschwerde legitimiert ist (Art. 76 Abs. 1 BGG).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die vorgebrachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; vgl. BGE 134 II 244 E. 2.2 S. 246 mit Hinweisen).
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. BGE 133 II 249 E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. 2.1 Gemäss Art. 13 Abs. 1 lit. a PAVO bedarf der Betrieb von Einrichtungen, die dazu bestimmt sind, mehrere Unmündige zur Erziehung, Betreuung, Ausbildung, Beobachtung oder Behandlung tags- und nachtsüber aufzunehmen, einer Bewilligung der Behörde. Was unter mehreren Unmündigen zu verstehen ist, bestimmt die Pflegekinderverordnung nicht näher. Im Rahmen seiner Regelungs- bzw. Konkretisierungskompetenz (vgl. Urteil 5A.3/2003 vom 14. Juli 2003 E. 5.3) hat der Kanton Schaffhausen mit der Verordnung vom 10. Dezember 2002 über die Aufnahme von Kindern zur Pflege und Adoption (Kantonale Pflegekinderverordnung; SHR 211.224) die Pflegekategorien in § 10 zahlenmässig wie folgt abgegrenzt: Die Vorschriften über die Heimpflege gemäss Art. 13 ff. PAVO sind demnach anwendbar, wenn mehr als sechs Unmündige aufgenommen werden.
Als Bewilligungsvoraussetzung schreibt die PAVO unter anderem vor, dass der Leiter und seine Mitarbeiter nach Persönlichkeit, Gesundheit, erzieherischer Befähigung und Ausbildung für ihre Aufgabe geeignet sind (Art. 15 Abs. 1 lit. b PAVO) und das Heim eine gesicherte wirtschaftliche Grundlage hat (Art. 15 Abs. 1 lit. e PAVO). Indessen enthält die PAVO nur Mindestanforderungen und überlässt den Kantonen den Erlass weitergehender Vorschriften (Urteil 5A.3/2003 vom 14. Juli 2003 E. 5.1 und 5.2). Namentlich behält die PAVO den Kantonen vor, Massnahmen zur Ausbildung von Kleinkinder- und Heimerziehern zu treffen (Art. 3 Abs. 2 lit. a PAVO).
2.2 Im vorliegenden Verfahren ist unbestritten, dass die vom Beschwerdeführer beabsichtigte Aufnahme von bis zu neun Jugendlichen einer Heimpflege-Bewilligung im Sinne von Art. 13 Abs. 1 lit. a PAVO bedarf. Strittig ist hingegen, ob dem Beschwerdeführer eine solche Betriebsbewilligung zu erteilen ist.
Das Obergericht hat dazu erwogen, es lägen ausreichende Gründe vor, welche die Schlussfolgerung der Vorinstanzen, wonach Y._ als designierter Heimleiter und Z._ als designierter Werkstattleiter die in Art. 15 Abs. 1 lit. b PAVO genannten Voraussetzungen nicht erfüllten, als sachlich gerechtfertigt erscheinen liessen. In Bezug auf die übrigen Mitarbeitenden könnten die Behörden in einem neuen Verfahren nötigenfalls entsprechende Auflagen machen (vgl. angefochtener Entscheid E. 4b/ee/ddd). Zudem sei es fraglich, ob der Beschwerdeführer über eine gesicherte wirtschaftliche Grundlage im Sinne von Art. 15 Abs. 1 lit. e PAVO verfüge (vgl. angefochtener Entscheid E. 4b/ff).
3. 3.1 Der Beschwerdeführer rügt vorab ein willkürliches Verhalten der kantonalen Behörden. Das kantonale Amt für Justiz und Gemeinden habe sich im Rahmen der Erteilung der Betriebsbewilligung für zuständig erklärt und nach rund zehnmonatiger Verfahrensdauer mit Mail vom 19. Februar 2010 eine Verfügung zukommen lassen, mit dem die nachgesuchte Bewilligung erteilt worden sei. Nach Treu und Glauben habe er sich auf diese schriftliche Zusicherung abstützen dürfen.
3.1.1 Nach dem in Art. 9 BV verankerten Grundsatz von Treu und Glauben kann eine (selbst unrichtige) Auskunft, welche eine Behörde dem Bürger erteilt, unter gewissen Umständen Rechtswirkungen entfalten. Voraussetzung (BGE 137 II 182 E. 3.6.2 S. 193 mit Hinweisen) dafür ist, dass:
es sich um eine vorbehaltlose Auskunft der Behörden handelt;
die Auskunft sich auf eine konkrete, den Bürger berührende Angelegenheit bezieht;
die Amtsstelle, welche die Auskunft gegeben hat, hiefür zuständig war oder der Bürger sie aus zureichenden Gründen als zuständig betrachten durfte;
der Bürger die Unrichtigkeit der Auskunft nicht ohne weiteres hat erkennen können;
der Bürger im Vertrauen hierauf nicht ohne Nachteil rückgängig zu machende Dispositionen getroffen hat;
die Rechtslage zur Zeit der Verwirklichung noch die gleiche ist wie im Zeitpunkt der Auskunftserteilung;
das Interesse an der richtigen Durchsetzung des objektiven Rechts dasjenige des Vertrauensschutzes nicht überwiegt.
3.1.2 Der damalige Vertreter des Beschwerdeführers erhielt am 19. Februar 2010 von der zuständigen juristischen Mitarbeiterin des Amtes für Justiz und Gemeinden eine E-Mail mit folgenden Inhalt: "(...)ich lasse Ihnen einmal die Vorversion zukommen. Evtl. gibt es noch einige kleinere redaktionelle Änderungen. Den Entscheid in Papierform erhalten Sie nächste Woche". Dieser E-Mail war eine Verfügung vom 19. Februar 2010 angehängt, mit welcher dem Beschwerdeführer "die Bewilligung für ein Heim zur Aufnahme und Betreuung von bis zu 9 verhaltensauffälligen Jugendlichen im Alter zwischen 12 und 18 Jahren" vorläufig für ein Jahr erteilt wurde. Bevor es zur formellen Eröffnung der Verfügung kam, stellte das kantonale Amt seine fehlende Zuständigkeit fest. In der Folge wurde das Gesuch an die Vormundschaftsbehörde A._ weitergeleitet.
3.1.3 Mit der erwähnten Vorgehensweise hat zwar das Amt für Justiz und Gemeinden seine Haltung recht deutlich zum Ausdruck gebracht. Es mag auch erstaunen, dass das Amt erst zehn Monate nach Einreichung des Gesuchs auf seine fehlende Zuständigkeit aufmerksam geworden ist. Auf der anderen Seite wurde die Verfügung unbestrittenermassen noch nicht formell eröffnet; in der E-Mail wurde diese als "Vorversion" bezeichnet. Damit wurde bei einer formalen Betrachtungsweise (noch) nicht verbindlich eine Betriebsbewilligung zugesichert. Ins Gewicht fällt zudem der Umstand, dass das Amt für den Erlass der Verfügung nicht zuständig war und diese fehlende Zuständigkeit sich ohne weiteres aus § 3 Abs. 1 lit. c der kantonalen Pflegekindervorordnung ergibt ("Die Vormundschaftsbehörde am Ort der Unterbringung ist zuständig für [...] die Erteilung und den Widerruf der Bewilligung für [...] die Heimpflege sowie zu ihrer Beaufsichtigung [Art. 13 ff. PAVO]"). Da die unter E. 3.1.1 hiervor aufgeführten Voraussetzungen kumulativ erfüllt sein müssen (BGE 137 II 182 E. 3.6.3 S. 194), kann auf eine Prüfung der übrigen Kriterien verzichtet werden.
Der Beschwerdeführer vermag somit aus dem Grundsatz von Treu und Glauben nichts zu seinen Gunsten abzuleiten.
3.2 Der Beschwerdeführer macht sodann eine willkürliche Rechtsanwendung der Zürcher Richtlinien für die Bewilligung von Kinder- und Jugendheimen durch die Vorinstanz geltend: Bei korrekter Anwendung der erwähnten Richtlinien durch die Vorinstanz hätte die anbegehrte Bewilligung abweichend von der PAVO dem Beschwerdeführer als Trägerschaft - mit allfälligen Auflagen - erteilt werden müssen.
3.2.1 Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 134 II 124 E. 4.1 S. 133 mit Hinweisen).
3.2.2 Die vom Beschwerdeführer geltend gemachten Umstände vermögen den angefochtenen Entscheid nicht als willkürlich erscheinen zu lassen: Der Schluss der Vorinstanz, für die Auslegung und Konkretisierung der PAVO im Kanton Schaffhausen hilfsweise die Richtlinien der Bildungsdirektion des Kantons Zürich über die Bewilligung von Kinder- und Jugendheimen vom 31. August 1998 beizuziehen, erscheint aufgrund fehlender verbindlicher Richtlinien im Kanton Schaffhausen - und offenbar auch mangels einer entsprechenden Schaffhauser Praxis - nicht unhaltbar. Es ist auch nicht willkürlich, wenn das Obergericht die Zürcher Richtlinien nur für die Konkretisierung der Bewilligungsvoraussetzungen (Art. 15 PAVO) heranzieht, nicht aber für die Frage, wem die Bewilligung zu erteilen ist: Aufgrund des klaren Wortlautes von Art. 16 Abs. 1 PAVO ("Die Bewilligung wird dem verantwortlichen Leiter des Heims erteilt und gegebenenfalls dem Träger angezeigt.") durfte die Vorinstanz zum Schluss kommen, im Kanton Schaffhausen sei die Bewilligung an den Heimleiter und nicht wie im Kanton Zürich der Trägerschaft zu erteilen (vgl. angefochtener Entscheid E. 4 b/cc).
3.2.3 Schliesslich kann der Beschwerdeführer auch aus dem Umstand, dass ihm im Kanton Zürich ein "identisches Heim" bewilligt worden ist nichts zu seinen Gunsten ableiten: Sofern überhaupt eine vollständige Identität der beiden Heime zu bejahen wäre, ist der Kanton Schaffhausen auf jeden Fall nicht an eine ausserkantonale Bewilligung für den Betrieb eines Heims in einem Nachbarkanton gebunden.
3.3 Soweit der Beschwerdeführer eine willkürliche Anwendung der PAVO rügt, kann ihm ebenso wenig gefolgt werden: In Bezug auf die fachlichen und persönlichen Voraussetzungen der Betreuungspersonen beschränkt er sich auf die Aussage, die Schlussfolgerung der Vorinstanz, wonach Y._ und Z._ die Voraussetzungen von Art. 15 Abs. 1 lit. b PAVO nicht erfüllten, sei nicht nachvollziehbar und verletze somit das Willkürverbot. Damit vermag er der Begründungspflicht jedoch nicht zu genügen (vgl. E. 1.3 hiervor). Zwar prüft das Bundesgericht die Anwendung der PAVO als Bundesrecht grundsätzlich frei und von Amtes wegen. Allerdings enthält die PAVO wie bereits erwähnt (vgl. E. 2.1 hiervor) nur Mindestvorschriften, die die Kantone konkretisieren können. Die Vorinstanz hat hier die Zürcher Richtlinien als Lücken füllendes kantonales Recht angewendet; insoweit ist die Frage, ob vom Heimverantwortlichen eine sozialpädagogische Ausbildung verlangt werden kann, nur unter dem Blickwinkel der Willkür zu prüfen. Was das weitere Betreuungsteam betrifft, hat die Vorinstanz durchblicken lassen, dass die Vormundschaftsbehörde bezüglich der vorhandenen Ausbildungen noch weitere Erkundigungen hätte einholen müssen (vgl. angefochtener Entscheid E. 4b/ee/ccc). Dieser Schluss ist im Ergebnis ebenso wenig willkürlich, da die anbegehrte Bewilligung bereits aufgrund der fehlenden Voraussetzungen beim designierten Heimleiter bzw. Werkstattleiter verweigert wurde. Das gleiche gilt im Übrigen für die Ausführungen betreffend die finanzielle Lage des Beschwerdeführers (vgl. angefochtener Entscheid E. 4b/ff): Da die Vorinstanz die Voraussetzungen von Art. 15 Abs. 1 lit b PAVO im vorliegenden Fall verneint hat, kann der Voraussetzung von Art. 15 Abs. 1 lit. e PAVO ("gesicherte wirtschaftliche Grundlage") keine entscheidende Bedeutung zukommen.
3.4 Der Beschwerdeführer führt weiter aus, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör, insbesondere die sich aus Art. 29 BV ergebende Begründungspflicht, sowohl in Bezug auf den vorgeschlagenen Heimleiter Y._ wie auch auf den designierten Werkstattleiter Z._ verletzt, indem deren Überlegungen "widersprüchlich und nicht nachvollziehbar" seien.
3.4.1 Der verfassungsmässige Anspruch auf rechtliches Gehör umfasst das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Akts zur Sache äussern zu können. Er verlangt von der Behörde, dass sie seine Vorbringen tatsächlich hört, ernsthaft prüft und in ihrer Entscheidfindung angemessen berücksichtigt. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (BGE 136 I 184 E. 2.2.1 S. 188 f. mit Hinweisen).
3.4.2 Dem Beschwerdeführer ist insofern beizupflichten, dass die Ausführungen im Beschluss der Vormundschaftsbehörde - wie auch die Vorinstanz (vgl. angefochtener Entscheid E. 3b) festgestellt hat - knapp ausgefallen sind. Indessen ergibt sich aus dem angefochtenen Entscheid hinreichend klar, aus welchen Gründen sich die Vorinstanz der Auffassung der Vormundschaftsbehörde bzw. des Volkwirtschaftsdepartementes angeschlossen hat: Danach verfügt Y._ über keine anerkannte Ausbildung im Sozialbereich und auch über keine entsprechende Weiterbildung im Führungsbereich, wie dies die hier beigezogenen Richtlinien des Kantons Zürich (vgl. E. 3.2.2 hiervor) für die Heimleitung vorsehen (vgl. angefochtener Entscheid E. 4b/ee/aaa). In Bezug auf Z._ hat die Vorinstanz festgestellt, dass dessen Leumund getrübt ist (vgl. angefochtener Entscheid E. 4b/ee/bbb). Es liegen Einträge bei der Schaffhauser Polizei (angebliche häusliche Gewalt bzw. Vernachlässigung der Unterhaltspflichten) sowie im Betreibungsregister (offene Verlustscheine in der Höhe von rund Fr. 188'000.--) vor. Damit erscheint der Schluss der Vorinstanz, Z._ sei in persönlicher und erzieherischer Hinsicht für seine Aufgabe nicht geeignet (vgl. Art. 15 Abs. 1 lit. b PAVO) nachvollziehbar. Daran vermag auch der Strafregisterauszug, der keinen Eintrag erhält, nichts zu ändern. Der Vorinstanz ist insofern zuzustimmen, dass im Hinblick auf das Wohl der Kinder und Jugendlichen hohe Anforderungen an die Betreuungs- und Leitungspersonen von Heimen gestellt werden dürfen. Eine Gehörsverletzung liegt im Ergebnis somit nicht vor.
3.4.3 Soweit der Beschwerdeführer schliesslich vorbringt, die Vorinstanz habe in Bezug auf den geltend gemachten Schaden ihre Begründungspflicht verletzt, kann ihm nicht gefolgt werden: Die Frage eines allfälligen Schadens aufgrund von Verzögerungen des Bewilligungsverfahrens bildet hier nicht Beschwerdegegenstand, sondern wäre allenfalls in einem separaten Staatshaftungsverfahren zu diskutieren.
4. Damit erweist sich die Beschwerde als unbegründet und ist abzuweisen. Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz zur Neubeurteilung) stattzugeben.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Der in ihrem amtlichen Wirkungskreis obsiegenden Gemeinde A._ wird keine Parteientschädigung zugesprochen (Art. 68 Abs. 3 BGG; vgl. BGE 134 II 117 E. 7 S. 119).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird als Beschwerde in Zivilsachen entgegengenommen und abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Gemeinde A._, dem Volkswirtschaftsdepartement des Kantons Schaffhausen und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 14. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Winiger