Sachverhalt:
A. Gestützt auf eine Rodungsbewilligung vom 14. Juli 1977 und eine Baubewilligung vom 14. März 1977 war die Gemeinde Hemmiken berechtigt, die alte Steingrube Wischberg auf der Waldparzelle Nr. 436 (heute Parzelle Nr. 1300 GB Hemmiken) mit unverschmutztem Aushubmaterial aufzufüllen. Am 27. Juni 2000 stellte das kantonale Amt für Umwelt und Energie fest, dass die Auffüllung die bewilligten Ausmasse übertraf. X._, Eigentümer des unterhalb der Grube gelegenen Bauernhofs Maiberg, teilte dem Amt Erdbewegungen auf seiner Liegenschaft und die Beeinträchtigung einer Quelle mit. Die Einwohnergemeinde Hemmiken reichte für die nicht bewilligten Ablagerungen am 2. November 2000 ein nachträgliches Baugesuch ein, welches das kantonale Bauinspektorat am 22. Januar 2002 als Rekultivierung der alten Steingrube im Sinne von Art. 16 Abs. 3 lit. d der Technischen Verordnung vom 10. Dezember 1990 über Abfälle (TVA; SR 814.600) bewilligte. Die kantonale Baurekurskommission wies eine gegen die Bewilligung gerichtete Beschwerde am 4. Oktober 2005 ab. Eine gegen diesen Entscheid von X._ erhobene Beschwerde hiess das Kantonsgericht Basel-Landschaft mit Urteil vom 19. Dezember 2007 im Sinne der Erwägungen gut. Es hob die unterinstanzlichen Entscheide auf und hielt fest, dass der Sachverhalt im Hinblick auf eine möglicherweise notwendige Deponiebewilligung unzureichend abgeklärt worden sei. Zudem sei eine Ausnahmebewilligung im Sinne von Art. 24 RPG (SR 700) erforderlich, wobei zu untersuchen sei, ob die Ablagerungen stabil seien. Dieser Entscheid wurde rechtskräftig.
B. Auf Gesuch der Einwohnergemeinde Hemmiken hin bewilligte das Amt für Umweltschutz und Energie am 4. November 2008 ohne vorherige Gesuchspublikation gestützt auf die kantonale Grundwassergesetzgebung zwei Sondierbohrungen für die vom Kantonsgericht mit Urteil vom 19. Dezember 2007 verlangten Stabilitätsabklärungen. Das Vorhaben umfasst zwei je 15 m tiefe Bohrungen für einen Inklinometereinbau direkt unterhalb der aufgefüllten Grube auf der Wegparzelle Nr. 1281. Die Gemeinde nahm in Aussicht, mit den Arbeiten am 25. März 2009 zu beginnen. Mit Eingabe beim Bauinspektorat vom 26. März 2009 verlangte X._, der Gemeinde sei sofort und superprovisorisch zu untersagen, Hang-Stabilitätsmessungen durchzuführen, die nicht zuvor unter Wahrung der Parteirechte des Nachbarn amtlich geprüft worden seien. In seinem Antwortschreiben vom 30. März 2009 bezeichnete das Bauinspektorat den Antrag auf superprovisorische Verfügung unter Hinweis auf die Bewilligung für Bohrarbeiten vom 4. November 2008 als gegenstandslos. Die Verfügung vom 4. November 2008 war diesem Schreiben beigelegt. Mit Beschwerde an den Regierungsrat des Kantons Basel-Landschaft vom 31. März 2009 beantragte X._, die Bewilligung vom 4. November 2008 sei aufzuheben. Er rügte eine Verletzung seiner Parteirechte. Mit Beschluss vom 30. Juni 2009 trat der Regierungsrat auf die Beschwerde mangels Legitimation von X._ nicht ein. Das Kantonsgericht hiess eine gegen diesen Entscheid gerichtete Beschwerde von X._ mit Urteil vom 10. Februar 2010 im Sinne der Erwägungen teilweise gut. Es gelangte zum Schluss, dass der Regierungsrat das rechtliche Gehör des Beschwerdeführers nicht verletzt und zu Recht einen Nichteintretensentscheid erlassen habe. Hingegen habe der Regierungsrat der Einwohnergemeinde Hemmiken zu Unrecht eine Parteientschädigung zulasten des Beschwerdeführers zugesprochen; in diesem Punkt sei die Beschwerde gutzuheissen und der Entscheid des Regierungsrats aufzuheben.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 10. Mai 2010 beantragt X._ unter anderem, das Urteil des Kantonsgerichts und der Beschluss des Regierungsrats seien aufzuheben. Eventualiter sei die Sache an eine dieser Vorinstanzen zurückzuweisen. Der Beschwerdeführer beanstandet insbesondere die Verneinung seiner Legitimation durch die kantonalen Behörden und das Kantonsgericht.
Das Kantonsgericht verzichtet auf einen Antrag zum vorliegenden Verfahren. Die kantonale Bau- und Umweltschutzdirektion sowie die Einwohnergemeinde Hemmiken beantragen die Abweisung der Beschwerde. Der Beschwerdeführer und die weiteren Beteiligten halten im Wesentlichen an ihren jeweiligen Auffassungen fest. Am 12. Januar 2011 reicht der Beschwerdeführer eine zusätzliche Eingabe ein, zu welcher die Bau- und Umweltschutzdirektion mit Schreiben vom 21. Januar 2011 Stellung nimmt.
D. Mit Verfügung vom 10. Juni 2010 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Einwohnergemeinde Hemmiken die Durchführung der Bohrarbeiten für die beiden Sondierbohrungen auf Parzelle Nr. 1281 während des bundesgerichtlichen Verfahrens untersagt.
Erwägungen:
1. 1.1 Beim angefochtenen Entscheid handelt es sich in Bezug auf die Legitimation des Beschwerdeführers um einen letztinstanzlichen kantonalen Endentscheid in einer öffentlich-rechtlichen Angelegenheit (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Der Beschwerdeführer ist zur Beschwerde gegen den vorinstanzlichen Entscheid, mit welchem ihm die Legitimation zur Beschwerde an den Regierungsrat bzw. zur Beschwerde an die Vorinstanz abgesprochen worden ist, ungeachtet seiner Legitimation in der Sache befugt.
1.2 Als Folge des im Beschwerdeverfahren geltenden Devolutiveffekts hat der Entscheid des Kantonsgerichts den bei ihm angefochtenen Beschluss des Regierungsrats ersetzt. Dieser Beschluss ist inhaltlich notwendigerweise mitangefochten, wenn der Entscheid der obersten kantonalen Instanz mit Beschwerde ans Bundesgericht weitergezogen wird. Auf das Rechtsbegehren, der Beschluss des Regierungsrats vom 30. Juni 2009 sei aufzuheben, ist daher nicht einzutreten (vgl. BGE 134 II 142 E. 1.4 S. 144).
1.3 Die übrigen Sachurteilsvoraussetzungen sind erfüllt, weshalb auf die Beschwerde unter Vorbehalt von E. 1.2 hiervor einzutreten ist.
2. Das Kantonsgericht verlangt in seinem Urteil vom 19. Dezember 2007 im Hinblick auf die Erteilung einer Ausnahmebewilligung nach Art. 24 RPG zusätzliche Abklärungen zur Feststellung der Stabilität der Ablagerung. Eine Ausnahmebewilligung im Sinne von Art. 24 RPG ist für die nachträgliche Beurteilung der Auffüllung der Grube auf jeden Fall erforderlich, auch wenn zusätzlich keine Deponiebewilligung notwendig sein sollte. Die kantonalen Behörden vertreten die Auffassung, für die Sondierbohrungen selbst sei lediglich eine gewässerschutzrechtliche Bohrbewilligung im Sinne von Art. 44 des Bundesgesetzes vom 24. Januar 1991 über den Schutz der Gewässer (Gewässerschutzgesetz, GSchG, SR 814.2) erforderlich, da noch keine auf Dauer mit dem Boden verbundene Baute oder Anlage errichtet werde.
Von Bundesrechts wegen sind bewilligungspflichtige Bauten und Anlagen mindestens jene künstlich geschaffenen und auf Dauer angelegten Einrichtungen, die in bestimmter fester Beziehung zum Erdboden stehen und geeignet sind, die Vorstellung über die Nutzungsordnung zu beeinflussen, sei es, dass sie den Raum äusserlich erheblich verändern, die Erschliessung belasten oder die Umwelt beeinträchtigen. Dazu gehören auch Sondierbohrungen (BGE 111 Ib 102 E. 6 S. 109 ff.). Für geotechnische Untersuchungen sind die genannten Voraussetzungen erfüllt, wenn sie zu Eingriffen in die Umwelt führen, die während längerer Zeit sichtbar bleiben oder zu einer Gefahr in der Umgebung führen können (vgl. BGE 118 Ib 1 E. 2c S. 9 f.; s. auch Urteil des Bundesgerichts 1C_15/2010 vom 16. Juni 2010 E. 1.2.2; BGE 120 Ib 379 E. 3 S. 383 ff.). Dass diese Voraussetzungen erfüllt sind, ergibt sich bereits aus dem Urteil des Kantonsgerichts vom 19. Dezember 2007 E. 2.3. Darin wird verbindlich festgehalten, dass die tatsächlich erfolgte Auffüllung die mit Verfügung vom 14. März 1977 bewilligte Ablagerung in erheblichem Mass übersteigt. Die hier umstrittenen Sondierbohrungen unterliegen als Teil des Verfahrens zur Erteilung der Ausnahmebewilligung gemäss Art. 24 RPG denselben Voraussetzungen wie die Auffüllung selbst. Sie sind somit ebenfalls im Verfahren nach Art. 24 RPG zu beurteilen. Hinzu kommt, dass der Beschwerdeführer auf seinem Grundstück Erdbewegungen festgestellt hat, die er gestützt auf Ausführungen in einem geologischen Kurzgutachten mit der Auffüllung in Zusammenhang bringt. Unter den gegebenen Verhältnissen muss in einem Ausnahmebewilligungsverfahren nach Art. 24 RPG geprüft werden, ob wegen der Sondierbohrungen mit Hangrutschungen auf dem Nachbargrundstück zu rechnen ist und mit welchen Massnahmen eine solche Gefahr allenfalls gebannt werden kann.
3. Umstritten ist die Legitimation des Beschwerdeführers. Das Kantonsgericht kam zum Schluss, dass diesem im kantonalen Verfahren keine Beschwerdeberechtigung zukomme.
3.1 Art. 111 BGG schreibt die Einheit des Verfahrens vor: Wer zur Beschwerde an das Bundesgericht berechtigt ist, muss sich am Verfahren vor allen kantonalen Vorinstanzen als Partei beteiligen können (Art. 111 Abs. 1 BGG); die unmittelbare Vorinstanz des Bundesgerichts muss grundsätzlich mindestens die Rügen nach den Artikeln 95-98 BGG prüfen können (Art. 111 Abs. 3 BGG). Aus diesen Bestimmungen ergibt sich, dass die kantonalen Behörden die Rechtsmittelbefugnis nicht enger fassen dürfen, als dies für die Beschwerde an das Bundesgericht vorgesehen ist. Zur Beurteilung, ob die Vorinstanzen die Beschwerdeführer vom Rechtsmittel ausschliessen durften, ist im vorliegenden Fall die Beschwerdeberechtigung nach den Grundsätzen von Art. 89 Abs. 1 BGG zu prüfen. Ist ein Beschwerdeführer befugt, gegen einen Sachentscheid über das umstrittene Vorhaben beim Bundesgericht Beschwerde zu führen, so müssen die Vorinstanzen auf sein Rechtsmittel eintreten, soweit die übrigen formellen Voraussetzungen erfüllt sind.
3.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (Art. 89 Abs. 1 BGG). Verlangt ist somit neben der formellen Beschwer (lit. a), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (lit. b) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (lit. c). Ein schutzwürdiges Interesse liegt vor, wenn die tatsächliche oder rechtliche Situation des Beschwerdeführers durch den Ausgang des Verfahrens beeinflusst werden kann (BGE 133 II 409 E. 1.3 S. 413 mit Hinweisen). Die Voraussetzungen von Art. 89 Abs. 1 lit. b und c BGG hängen eng zusammen. Insgesamt kann insoweit an die Grundsätze, die früher zur Legitimationspraxis bei der Verwaltungsgerichtsbeschwerde nach Art. 103 lit. a OG entwickelt worden sind, angeknüpft werden (BGE 133 II 249 E. 3.1 S. 252 f., 353 E. 3 S. 356 f., 400 E. 2.2 S. 404).
3.3 Will ein Nachbar eine baurechtliche Bewilligung anfechten, genügt die Behauptung allein, er sei von den Folgen der Baubewilligung betroffen, nicht, um die Beschwerdebefugnis zu begründen. Vielmehr müssen aufgrund des konkreten Sachverhalts das besondere Berührtsein und das schutzwürdige Interesse glaubhaft erscheinen. Ein Kriterium für die Beurteilung der Beschwerdebefugnis ist die räumliche Distanz der Liegenschaft bzw. des Mietobjekts eines Beschwerdeführers zum umstrittenen Bauprojekt. Das Beschwerderecht wird in der Regel anerkannt, wenn die Liegenschaft des Nachbarn unmittelbar an das Baugrundstück angrenzt oder allenfalls nur durch einen Verkehrsträger davon getrennt wird (BGE 121 II 171 E. 2b S. 174 mit Hinweisen). Daneben wird eine besondere Betroffenheit vor allem in Fällen bejaht, in welchen von einer Anlage mit Sicherheit oder grosser Wahrscheinlichkeit Immissionen auf Nachbargrundstücke ausgehen (BGE 136 II 281 E. 2.3.1 S. 285; 121 II 171 E. 2b S. 174; 120 Ib 379 E. 4c S. 387) oder die Anlage einen besonderen Gefahrenherd darstellt und die Anwohner einem besonderen Risiko ausgesetzt werden (BGE 120 Ib 378 E. 4d S. 388). Das Bundesgericht prüft die Legitimationsvoraussetzungen in einer Gesamtwürdigung anhand der im konkreten Fall vorliegenden tatsächlichen Verhältnisse. Es stellt nicht schematisch auf einzelne Kriterien (wie z.B. Distanz zum Vorhaben, Sichtverbindung usw.) ab (BGE 136 II 281 E. 2.3.2 S. 285 f.).
3.4 Die Vorinstanz verneint die Legitimation des Beschwerdeführers insbesondere, weil es mit der generellen Bewilligung für die Sondierbohrungen um den Schutz des Grundwassers und nicht um die Bau- oder Deponiebewilligung gehe. Es bestehe kein direkter Zusammenhang zu diesen vom Kantonsgericht in seinem Urteil vom 19. Dezember 2007 verlangten Verfahren.
Diesen Ausführungen kann nicht zugestimmt werden. Aus dem im Sachverhalt des vorliegenden Urteils lit. A geschilderten Verfahrensablauf ergibt sich, dass die erforderliche Ausnahmebewilligung im Sinne von Art. 24 RPG und die möglicherweise notwendige Deponiebewilligung das vorliegende Verfahren über die Sondierbohrungen nicht nur ausgelöst haben, sondern dass die Bohrungen in einem äusserst engen Bezug zur weiteren rechtlichen Beurteilung der Auffüllung der Grube stehen. Das Kantonsgericht hat in seinem Urteil vom 19. Dezember 2007 eine ungenügende Sachverhaltsermittlung beanstandet und darauf hingewiesen, dass die langfristige Stabilität der Aufschüttung noch nicht ausreichend abgeklärt ist. Den erforderlichen Abklärungen sollen die hier umstrittenen Bohrungen dienen. Es handelt sich um Sachverhaltsermittlungen im Hinblick auf die im weiteren Verfahren zu beurteilenden Rechtsfragen. Die Beziehungsnähe und Betroffenheit des Beschwerdeführers ist in Bezug auf die Sondierbohrungen nicht anders zu beurteilen als bei den nachfolgenden Bewilligungsverfahren, in welchen seine Beschwerdeberechtigung offensichtlich gegeben ist. Aus dem Urteil des Kantonsgerichts vom 19. Dezember 2007 ergibt sich, dass die Distanz von der Ablagerungsstelle zur Parzelle des Beschwerdeführers 50 m beträgt, womit eine hinreichend enge räumlich Beziehung besteht. Zur Diskussion stand damals, ob und inwiefern die Auffüllungen die Stabilität des Abhangs oberhalb des Hofs Maiberg gefährden und für den Hof ein Sicherheitsrisiko darstellen. Dieselben Fragen stellen sich in Bezug auf die umstrittenen Sondierbohrungen, welche nach den Ausführungen des vom Beschwerdeführer beauftragten Gutachters geeignet erscheinen, die Stabilität des Hangs oberhalb des Hofs zu beeinträchtigen. Was die Gemeinde und die kantonalen Behörden gegen die Gefahr von Hangrutschungen ausführen, spricht nicht gegen die besondere Betroffenheit des Beschwerdeführers. Die Legitimationsvoraussetzungen von Art. 89 Abs. 1 lit. b und c BGG sind somit zu bejahen.
3.5 Im Hinblick auf Art. 89 Abs. 1 lit. a BGG ergibt sich, dass die umstrittene Verfügung vom 4. November 2008, der keine Gesuchspublikation vorausging, dem Beschwerdeführer erst mit Schreiben des Bauinspektorats vom 30. März 2009 zur Kenntnis gebracht wurde. Er hatte keine Möglichkeit, am erstinstanzlichen Verfahren teilzunehmen. Somit steht auch Art. 89 Abs. 1 lit. a BGG der Bejahung der Legitimation des Beschwerdeführers nicht entgegen.
4. Es ergibt sich, dass die kantonalen Behörden die Legitimation des Beschwerdeführers zur Beschwerde gegen die Verfügung vom 4. November 2008 im kantonalen Verfahren zu Unrecht verneint haben (Art. 111 Abs. 1 i.V.m. Art. 89 Abs. 1 BGG). Der angefochtene Entscheid ist insoweit aufzuheben, als damit das Beschwerderecht verneint wurde. Die Angelegenheit ist in Anwendung von Art. 107 Abs. 2 BGG an den Regierungsrat zurückzuweisen.
Angesichts des engen Sachzusammenhangs der Sondierbohrungen mit der Erteilung der Ausnahmebewilligung für die Auffüllung der Grube gemäss Art. 24 RPG und der erwähnten Gefahr für die Hangstabilität müssen die umstrittenen Bohrungen trotz ihres vorübergehenden Charakters im Rahmen des baurechtlichen Ausnahmebewilligungsverfahrens im Sinne von Art. 24 RPG geprüft werden (E. 2 hiervor). Die Erteilung der gewässerschutzrechtlichen Bohrbewilligung ist mit der Ausnahmebewilligung nach Art. 24 RPG zu koordinieren (Art. 25a RPG). Nachdem die Feststellung der unzulässigen Ablagerungen nun über zehn Jahre zurückliegt und dieser Zustand unverändert andauert, ist ausserdem auf Art. 29 Abs. 1 BV hinzuweisen. Danach besteht ein verfassungsrechtlicher Anspruch auf Beurteilung innert angemessener Frist, welcher im weiteren Verfahren zu beachten ist.
5. Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind keine Gerichtskosten zu erheben (Art. 66 Abs. 4 BGG). Die Gemeinde Hemmiken hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und das Urteil des Kantonsgerichts Basel-Landschaft vom 10. Februar 2010 aufgehoben, soweit darin die Legitimation des Beschwerdeführers im kantonalen Verfahren verneint wird. Die Angelegenheit wird zur neuen Beurteilung im Sinne der Erwägungen an den Regierungsrat des Kantons Basel-Landschaft zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Die Einwohnergemeinde Hemmiken hat dem Beschwerdeführer eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde Hemmiken sowie dem Regierungsrat des Kantons Basel-Landschaft und dem Kantonsgericht Basel-Landschaft, Abteilung Verfassungs- und Verwaltungsrecht, schriftlich mitgeteilt.
Lausanne, 7. Februar 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Haag