Sachverhalt:
A. Mit Schreiben vom 14. März 2008 ersuchte der designierte Co-Klinikdirektor Dr. phil. Z._ das Departement des Innern des Kantons Solothurn, vertreten durch das Gesundheitsamt, um Erteilung einer Betriebsbewilligung für die Klinik KK._ in A._. Das ursprünglich eingereichte Betriebskonzept wurde nach einer Besichtigung und diversen Besprechungen mehrmals überarbeitet. Die letzte Fassung des Betriebskonzepts für die inzwischen umbenannte Klinik K._, Privatklinik für psychische Gesundheit und Rehabilitation AG in Gründung wurde dem Gesundheitsamt am 29. Juni 2009 eingereicht. Als Verwaltungsratspräsident war gemäss Konzept und Gründungsakten Y._ vorgesehen; als weitere Verwaltungsräte sollten die beiden designierten Co-Klinikdirektoren Dr. phil. Z._ sowie Dr. med. X._ fungieren.
B. Am 12. August 2009 wies das Departement des Innern des Kantons Solothurn das Gesuch um Erteilung einer Betriebsbewilligung für ein Privatspital ab. Es führte aus, das medizinische Untersuchungs- und Behandlungsangebot der Gesuchstellerin entspreche nicht den gesetzlichen Anforderungen an ein Spital. Das geplante Vorhaben bedürfe keiner Spitalbewilligung; dessen Umsetzung könne mit einer Betriebsbewilligung für eine ambulante Institution oder mit persönlichen Berufsausübungsbewilligungen erreicht werden.
Eine von der Klinik K._ AG (in Gründung) bzw. Dr. med. X._ dagegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 5. Februar 2010 ab.
C. Mit Eingabe vom 10. März 2010 erheben die Klinik K._ AG (in Gründung), Dr. med. X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, das Urteil des Verwaltungsgerichts vom 5. Februar 2010 sei aufzuheben und die Vorinstanz sei anzuweisen, die Bewilligungsverweigerung aufzuheben. Eventualiter sei die Sache zur Erhebung des rechtserheblichen Sachverhalts an die Vorinstanz zurückzuweisen.
D. Das Verwaltungsgericht des Kantons Solothurn beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Departement des Innern des Kantons Solothurn, vertreten durch das Gesundheitsamt, schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG).
Die Beschwerdeführerin 2, welche an der Gründung der Klinik K._ AG massgeblich beteiligt ist und - als Einzige - am vorinstanzlichen Verfahren teilgenommen hat, ist durch den angefochtenen Entscheid besonders berührt und besitzt ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung, womit sie zur Beschwerde legitimiert ist (Art. 89 Abs. 1 BGG). Als fraglich erweist sich hingegen die Beschwerdelegitimation der Beschwerdeführer 1 und 3; die Frage kann hier indes offen gelassen werden, da auf die Beschwerde ohnehin einzutreten ist.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die vorgebrachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 2.2 S. 246 mit Hinweisen).
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Streitig ist, ob der Klinik K._, Privatklinik für psychische Gesundheit und Rehabilitation AG in Gründung eine Bewilligung für den Betrieb eines privaten Spitals im Sinne von § 48 des Gesundheitsgesetzes [des Kantons Solothurn] vom 27. Februar 1999 (BGS 811.11; im Folgenden: GesG/SO) durch das zuständige Departement zu erteilen ist.
2.1 Gemäss § 48 Abs. 1 GesG/SO bedarf der Betrieb privater Spitäler und teilstationärer Einrichtungen einer Bewilligung des Departementes. Die Bewilligung wird nach § 48 Abs. 2 GesG/SO erteilt, wenn die medizinische und pflegerische Versorgung der Patienten und Patientinnen sichergestellt ist (lit. a), die baulichen Verhältnisse und die Ausrüstungen der vorgesehenen Verwendung entsprechen (lit. b) und der interne Notfalldienst im Rahmen ihres medizinischen Konzeptes gewährleistet ist (lit. c). Die Definition des Spitalbegriffs findet sich in § 43 GesG/SO: "Spitäler sind Einrichtungen, die unter ärztlicher Leitung zur Aufnahme, Untersuchung, Behandlung und Pflege kranker oder verletzter Personen oder zur Geburtshilfe dienen".
2.2 Im angefochtenen Urteil kommt das Verwaltungsgericht zum Schluss, dass das angestrebte Projekt den Anforderungen an ein Spital im Sinne von § 43 GesG/SO nicht genüge und deshalb keine Spitalbewilligung ausgestellt werden könne. In Anlehnung an den Spitalbegriff im Bundesrecht ergebe sich, dass für ein Spital die stationäre Behandlung sowie die ärztliche Hilfe charakteristisch seien. Das von den Beschwerdeführern eingereichte Konzept vom 29. Juni 2009 beinhalte Einzeltherapiestunden sowie Gruppenpsychotherapien und Systemtherapiesitzungen; daneben werde ein "hochstehendes Wellness- und Fitnessangebot" und eine "exzellente Gastronomie und Hotellerie mit höchsten Ansprüchen an Wohlfühlatmosphäre" angeboten. Am Wochenende werde nur ein minimaler Betrieb ohne Therapieangebote aufrechterhalten. Das Konzept weise klar einen ambulanten Charakter auf und stehe damit im Widerspruch zum stationären Grundgedanken. Unabhängig davon, ob zwei oder drei vollzeitliche Arztstellen bestünden, was unter den Verfahrensbeteiligten umstritten ist, könne mit den vorhandenen Ressourcen - insbesondere im psychiatrischen Bereich - eine Patientenbetreuung im stationären Rahmen sowie der für ein Spital vorausgesetzte Notfalldienst nicht sichergestellt werden. In Bezug auf die delegierte Psychotherapie führt das Verwaltungsgericht aus, ein Spital könne durchaus gewisse Delegationen vornehmen; hier würden jedoch die Beschwerdeführer die selbst definierte Hauptaufgabe (psychiatrisch-psychotherapeutisches Behandlungsangebot) praktisch vollumfänglich an nichtmedizinisches Personal delegieren. Im Übrigen liege kein Verstoss gegen den Grundsatz von Treu und Glauben durch das Gesundheitsamt vor, da es für eine die öffentliche Gesundheit schützende Polizeibewilligung keinen Anspruch auf Erteilung gebe, wenn die entsprechenden Voraussetzungen nicht erfüllt seien.
2.3 Die Beschwerdeführer rügen die Verletzung des Verhältnismässigkeitsgrundsatzes, des Grundsatzes von Treu und Glauben, der Wirtschaftsfreiheit sowie von kantonalem Verfassungsrecht. Sie stellen sich auf den Standpunkt, die Vorinstanz gehe in unzulässiger Weise von einem ambulanten Versorgungskonzept aus. Weiter führen sie aus, dass die üblichen Standards an eine medizinische Leitung und Betreuung des Angebots vollumfänglich gewährleistet seien und das Angebot an psychotherapeutischen Massnahmen zur delegierbaren ärztlichen Tätigkeit gehöre. Schliesslich wird geltend gemacht, durch mündliche und schriftliche Zusicherungen habe das Gesundheitsamt eine Vertrauensgrundlage geschaffen, auf welche sich die Beschwerdeführer berechtigterweise verlassen durften. Gestützt auf diese Ausgangslage hätten die Beschwerdeführer mit hohem finanziellem Aufwand das Projekt vorangetrieben.
3. 3.1 Soweit die Beschwerdeführer zunächst die Verletzung der Wirtschaftsfreiheit (Art. 27 BV bzw. Art. 17 KV/SO [SR 131.221]) geltend machen, beschränkt sich ihre Rüge auf die Feststellung, die Vorinstanz habe durch falsche Beurteilungen "die durch die Wirtschaftsfreiheit [...] gewährleistete Berufs- und Organisationsfreiheit der Beschwerdeführenden in unzulässiger Weise missachtet" (Ziff. 34 der Beschwerdeschrift). Eine solche Begründung vermag die Voraussetzungen der qualifizierten Rügepflicht (vgl. E. 1.2 hiervor) nicht zu erfüllen: Es wird nicht ansatzweise dargelegt, inwiefern die genannten Verfassungsbestimmungen durch den angefochtenen Entscheid verletzt sein sollen. Die Rüge erweist sich damit als unzureichend begründet, weshalb darauf nicht einzutreten ist.
3.2 Das Gleiche gilt mithin für die Rüge der Verletzung von Art. 101 KV/SO. Diese Bestimmung hält im Wesentlichen fest, dass private Spitaleinrichtungen bewilligungspflichtig sind und der Aufsicht des Kantons unterstehen. Es ist weder ersichtlich noch dargelegt, inwiefern Art. 101 KV/SO den Beschwerdeführern ein kantonales verfassungsmässiges Recht (im Sinne von Art. 95 lit. c BGG) einräumen soll. Es handelt sich primär um eine organisatorische Bestimmung, welche nicht bezweckt, dem Bürger einen Schutzbereich gegen staatliche Eingriffe zu sichern (vgl. <ref-ruling> E. 2.2 S. 368). Damit ist auch auf diese Rüge wegen unzureichender Begründung nicht einzutreten.
4. 4.1 Die Beschwerdeführer berufen sich weiter ausdrücklich auf den Grundsatz der Verhältnismässigkeit, welcher zwar in Art. 5 Abs. 2 BV (bzw. Art. 5 Abs. 1 KV/SO) verankert ist, aber bloss ein verfassungsmässiges Prinzip und kein Grundrecht darstellt. Im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann der Grundsatz der Verhältnismässigkeit direkt und unabhängig von einem Grundrecht angerufen werden (<ref-ruling> E. 4.1 S. 156 f. mit Hinweisen). Allerdings hat das Bundesgericht gleichzeitig präzisiert, dass das in Art. 5 Abs. 2 BV als allgemeiner Verfassungsgrundsatz verankerte Verhältnismässigkeitsgebot im Rahmen einer Beschwerde in öffentlich-rechtlichen Angelegenheiten bei der Anwendung kantonalen Rechts ausserhalb des Schutzbereichs spezieller Grundrechte nur unter dem Gesichtswinkel des Willkürverbots überprüft werden kann (vgl. <ref-ruling> E. 4.2.2 und 4.3 S. 158).
4.1.1 Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 4.1 S. 133 mit Hinweisen).
4.1.2 Die von den Beschwerdeführern geltend gemachten Umstände vermögen den angefochtenen Entscheid - abgesehen davon, dass eine ausdrückliche Willkürrüge fehlt - nicht als willkürlich erscheinen zu lassen: Der Schluss der Vorinstanz, für die Auslegung des (kantonalen) Spitalbegriffs auf Bundesrecht abzustellen, erscheint nicht unhaltbar. Aufgrund des zuletzt eingereichten Konzepts durfte die Vorinstanz - ohne in Willkür zu verfallen - weiter zum Schluss kommen, dem Projekt mangle es am notwendigen stationären Charakter: Zum einen stehen im Konzept Wellness, Fitness und Gastronomie (zu) sehr im Vordergrund, zum anderen wird an den Wochenenden nur ein minimaler Betrieb ohne Therapieangebote aufrechterhalten. Ob mit den im Konzept vorgesehenen fachärztlichen Ressourcen eine Patientenbetreuung im stationären Rahmen (und damit im 24-Stunden-Betrieb) sowie der vorgeschriebene Notfalldienst sichergestellt werden könnte, erscheint - insbesondere unter Berücksichtigung von allfälligen Krankheitsausfällen oder Ferienansprüchen des ärztlichen Personals - zumindest fraglich. Von einer geradezu willkürlichen Rechtsanwendung durch die Vorinstanz kann auf jeden Fall nicht gesprochen werden. Nichts zu ihren Gunsten ableiten können die Beschwerdeführer im Übrigen mit dem Hinweis auf die grundsätzliche Zulässigkeit der delegierten Psychotherapie: Die Vorinstanz hat zu Recht ausgeführt, ein Arzt oder eine Ärztegemeinschaft würden nicht automatisch als Privatspital gelten, nur weil ihnen eine bestimmte Delegationsbefugnis zukommt. Im vorliegenden Fall verbleibt bei Ausserachtlassung der delegierten Leistung in der Tat nicht mehr viel, was mit dem Zweck eines Spitals in Zusammenhang gebracht werden kann. Entgegen der Ansicht der Beschwerdeführer lassen sich die erwähnten Mängel auch nicht dadurch beseitigen, dass die Spitalbewilligung unter einer Auflage erteilt würde.
Daraus ergibt sich insgesamt, dass der angefochtene Entscheid auf einer vertretbaren und zulässigen Auslegung des kantonalen Rechts beruht. Er ist nicht offensichtlich unhaltbar und verstösst damit im Ergebnis auch nicht gegen den Grundsatz der Verhältnismässigkeit.
4.2 Die Beschwerdeführer machen schliesslich einen Anspruch auf Erteilung der Spitalbewilligung unter Berufung auf den Grundsatz von Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV bzw. Art. 5 Abs. 2 KV/SO) geltend.
4.2.1 Das in Art. 9 BV als Grundrecht verankerte Prinzip von Treu und Glauben verschafft einen Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden, sofern sich dieses auf eine konkrete, den betreffenden Bürger berührende Angelegenheit bezieht (<ref-ruling> E. 6.1 S. 636 f. mit Hinweisen). Vorausgesetzt ist weiter, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann; schliesslich scheitert die Berufung auf Treu und Glauben dann, wenn ihr überwiegende öffentliche Interessen gegenüberstehen (<ref-ruling> E. 4.1 S. 170 mit Hinweisen).
4.2.2 Die Beschwerdeführer stützen sich in erster Linie auf ein Schreiben des kantonalen Gesundheitsamtes vom 2. Juni 2008. Dieses erklärt darin, dass in Bezug auf das Gesuch vom 14. März 2008 "aufgrund der eingereichten Unterlagen und Pläne sowie der ersten Besichtigung einer Betriebsbewilligung nichts mehr im Wege steht." Die Gesuchsteller werden weiter aufgefordert, das Gesuch mit diversen Änderungen zu ergänzen, damit "nach einer nochmaligen kurzen Besichtigung die Betriebsbewilligung erteilt werden kann."
Mit dem erwähnten Schreiben mag zwar eine gewisse Grundhaltung der zuständigen Behörde zum Ausdruck kommen. Damit wird jedoch (noch) nicht verbindlich eine Betriebsbewilligung zugesichert. Das Schreiben bezieht sich auf das Gesuch der Beschwerdeführer vom 18. März 2008, welches in der Folge mehrfach - personell wie konzeptionell - überarbeitet worden ist. Dem angefochtenen Entscheid des Gesundheitsamts liegt jedoch das Konzept vom 29. Juni 2009 zugrunde. Zudem enthält das Schreiben noch diverse Vorbehalte und stellt explizit fest, dass "im gegenwärtigen Zeitpunkt noch keine Betriebsbewilligung zu erteilen" sei. Dazu kommt, dass die ins Feld geführten Bauarbeiten und Investitionen zu einem wesentlichen Teil offensichtlich bereits vor dem 2. Juni 2008 eingeleitet worden sind. Die Anrufung des Grundsatzes von Treu und Glauben scheitert zudem an den überwiegenden öffentlichen Interessen der medizinischen und pflegerischen Versorgung der Patienten (vgl. § 48 Abs. 2 lit. a GesG/SO). § 48 Abs. 3 GesG/SO hält denn auch fest, dass die Betriebsbewilligung entzogen werden kann, wenn die Voraussetzungen dazu nicht mehr gegeben sind.
Die Beschwerdeführer vermögen somit aus dem Grundsatz von Treu und Glauben nichts zu ihren Gunsten abzuleiten.
5. Damit erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz zur Neubeurteilung) stattzugeben.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter solidarischer Haftung aufzuerlegen (Art. 65 f. BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 16. August 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger