Sachverhalt:
A. Die Y._ AG (Y._ AG) stellte am 26. Mai 2008 beim Bauinspektorat des Kantons Basel-Landschaft ein Baugesuch für den Bau eines Mehrfamilienhauses mit Laden und Einstellhalle an der Sissacherstrasse in Gelterkinden.
Gegen dieses Baugesuch erhoben AX._ und BX._ Einsprache. Mit Entscheid vom 7. Mai 2010 wies das Bauinspektorat die Einsprache ab, soweit es auf diese eintrat, und erteilte der Y._ AG die Baubewilligung unter Auflagen.
Diesen Einspracheentscheid fochten AX._ und BX._ bei der Baurekurskommission des Kantons Basel-Landschaft an, welche die Beschwerde mit Entscheid vom 16. November 2010 abwies.
Gegen diesen Entscheid reichten AX._ und BX._ Beschwerde beim Kantonsgericht Basel-Landschaft ein. Mit Verfügung vom 22. September 2011 wies die Präsidentin des Kantonsgerichts den Verfahrensantrag von AX._ und BX._ auf Einholung eines geologischen Gutachtens ab. Am 25. Januar 2012 führte das Kantonsgericht eine Parteiverhandlung mit vorgängigem Augenschein durch. Mit Urteil vom gleichen Tag wies es die Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 15. Mai 2012 beantragen AX._ und BX._ sinngemäss, der Entscheid des Kantonsgerichts Basel-Landschaft vom 25. Januar 2012 sei aufzuheben, und das Baugesuch der Y._ AG sei nicht zu bewilligen. Eventualiter sei die Baubewilligung nur mit detaillierten Auflagen zu erteilen. Subeventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Mit Verfügung vom 14. Juni 2012 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.
Das Kantonsgericht und die Baurekurskommission des Kantons Basel-Landschaft haben auf eine Vernehmlassung verzichtet. Die Einwohnergemeinde Gelterkinden hat eine Stellungnahme zur Beschwerde eingereicht, ohne einen förmlichen Antrag zu stellen. Die Beschwerdegegnerin beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Beschwerdeführer halten in ihrer Replik an ihrem Standpunkt und an ihren Anträgen fest.

Erwägungen:
1. Gegen den kantonal letztinstanzlichen Entscheid der Vorinstanz, mit welchem die Erteilung einer Baubewilligung bestätigt wurde, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Die Beschwerdeführer sind als unmittelbare Nachbarn vom fraglichen Bauvorhaben besonders berührt und zur Beschwerde legitimiert (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, kann auf die Beschwerde unter Vorbehalt der nachfolgenden Erwägungen eingetreten werden.
2. 2.1 Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör gemäss <ref-law> und § 9 Abs. 3 KV/BL (SR 131.222.2), da die Vorinstanz ihren Beweisantrag auf Einholung eines geologischen Gutachtens - notabene ohne hinreichende Begründung - abgelehnt habe. Ein solches Gutachten sei aus sicherheitstechnischen Gründen notwendig. Der stark abfallende Baugrund bestehe aus kieselsteinartigem Mergel, was die Rutschgefahr verstärke. Es sei deshalb zu befürchten, dass ihre ans Baugrundstück grenzende Liegenschaft als Folge der Bauarbeiten ins Rutschen geraten könnte.
2.2 Die Vorinstanz hat erwogen, gemäss § 101 Abs. 3 des Raumplanungs- und Baugesetzes des Kantons Basel-Landschaft vom 8. Januar 1998 (RBG/BL; SGS 400) könne die Baubewilligungsbehörde auf Kosten der Bauherrschaft Untersuchungen über die Baugrundverhältnisse verlangen, wenn die Stabilität des Baugrunds in Frage gestellt sei. Das Bauinspektorat verlange die Einreichung eines geologischen Gutachtens praxisgemäss nur in Gebieten mit ausgewiesener akuter Rutschgefahr. Nach Auffassung des Bauinspektorats wie auch der Baurekurskommission, welche in baulicher Hinsicht Fachbehörden seien, sei diese Voraussetzung nicht erfüllt. Vielmehr befinde sich das Baugrundstück in einem Gebiet, welches nicht als rutschgefährdet bekannt sei. Der Antrag der Beschwerdeführer, ein geologisches Gutachten einzuholen, sei daher abzuweisen.
2.3 Der Anspruch auf rechtliches Gehör gemäss <ref-law> verlangt, dass die Behörde die Vorbringen der vom Entscheid in ihrer Rechtsstellung Betroffenen hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Des Weiteren ergibt sich aus <ref-law> für die Parteien das Recht, Beweisanträge zu stellen, und für die Behörden die Pflicht, rechtzeitig und formgültig angebotene Beweisbegehren entgegenzunehmen und zu berücksichtigen. Keine Verletzung des rechtlichen Gehörs liegt indes vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.2 und 5.3 S. 236 f.). Der Entscheid darüber, ob ein (geologisches) Gutachten einzuholen ist, steht im pflichtgemässen Ermessen der anordnenden Behörde.
§ 9 Abs. 3 KV/BL geht insoweit inhaltlich nicht über <ref-law> hinaus.
2.4 Die Vorinstanz hat dargelegt, weshalb sie ein geologisches Gutachten als nicht erforderlich erachtet. Sie ist damit ihrer Begründungspflicht nachgekommen.
Die Begründung verletzt auch inhaltlich kein Bundesrecht. Wie die Beschwerdeführer ausführen (Beschwerde S. 25), tritt der kieselsteinartige Mergel im Jura verbreitet auf. Es handelt sich mithin um einen durchaus typischen Baugrund, und das Baugrundstück ist auch nicht in der Naturgefahrenkarte des Kantons Basel-Landschaft verzeichnet. Nach der Beurteilung der kantonalen Fachbehörden bestehen vorliegend keine Hinweise auf eine akute Rutschgefahr respektive auf einen instabilen Baugrund. Wenn die Vorinstanz vor diesem Hintergrund gefolgert hat, mangels voraussehbarer Gefahr könne auf die Einholung eines geologischen Gutachtens verzichtet werden, so handelt es sich dabei um eine zulässige antizipierte Beweiswürdigung. Ferner liegt insoweit auch keine willkürliche Anwendung von § 101 Abs. 3 RBG/BL vor, was von den Beschwerdeführern im Übrigen auch nicht behauptet wird.
3. 3.1 Die Vorinstanz hat erwogen, die Parzelle, auf welchem das umstrittene Bauprojekt geplant sei, befinde sich in unmittelbarer Umgebung der im kantonalen Inventar der geschützten Kulturdenkmäler verzeichneten Liegenschaft der Beschwerdeführer, dem sogenannten "Pümpin-Haus". Umstritten sei, ob das geplante Bauprojekt das geschützte Objekt gefährde oder beeinträchtige. Einschlägig seien insoweit § 7 Abs. 3 und § 9 des Gesetzes über den Denkmal- und Heimatschutz des Kantons Basel-Landschaft vom 9. April 1992 [DHG/BL; SGS 791]. Gemäss § 7 Abs. 3 DHG/BL sei es verboten, die geschützten Kulturdenkmäler in ihrem Bestand zu gefährden, sie in ihrem Wert oder in ihrer Wirkung zu beeinträchtigen oder sie zu beseitigen. Nach § 9 DHG/BL dürften geschützte Kulturdenkmäler durch bauliche oder technische Veränderungen in ihrer Umgebung nicht beeinträchtigt werden; als Umgebung gelte der nähere Sichtbereich des Kulturdenkmals.
Die Vorinstanz hat weiter ausgeführt, gemäss dem kantonalen Inventar der geschützten Kulturdenkmäler seien der integrale Erhaltungszustand, der hohe typologische, kunsthandwerkliche und architekturgeschichtliche Wert sowie die Bedeutung der Baute als Wohnsitz des Baselbieter Kunstmalers Fritz Pümpin für die Aufnahme des Pümpin-Hauses ins Inventar ausschlaggebend gewesen. Diesem sei weiter zu entnehmen, dass sich auf der Südseite des Pümpin-Hauses ursprünglich industrielle Bauten und danach ein Malatelier befunden hätten. In ihrer Stellungnahme vom 2. September 2011 gegenüber dem Bauinspektorat habe die Kantonale Denkmalpflege darauf hingewiesen, dass das Pümpin-Haus früher nicht so frei wie heute gestanden habe, und gefolgert, dass ein Neubau grundsätzlich möglich sei. Diese Einschätzung habe der Vertreter der Kantonalen Denkmalpflege anlässlich des Augenscheins mit Parteiverhandlung bestätigt und festgehalten, das Pümpin-Haus sei schon immer von Gebäuden umgeben gewesen und damit nicht als alleinstehendes Haus geschützt. Der Vertreter der Denkmalpflege habe weiter betont, beim Schutz des rundum gleich geschaffenen Pümpin-Hauses gehe es in erster Linie um den Erhalt der Substanz der Fassade und der Konstruktion. Zwar sei es auch wichtig, dass man das Pümpin-Haus sehen könne; dies sei aber auch nach Errichtung der umstrittenen Baute von der Westseite her gewährleistet.
Die Vorinstanz hat geschlossen, die Ausführungen der Kantonalen Denkmalpflege zum Schutzbedarf des Pümpin-Hauses sowie deren Auslegung und Handhabung des unbestimmten Rechtsbegriffs "Beeinträchtigung" seien vertretbar. Mit der Realisierung des umstrittenen Bauprojekts finde keine unzulässige Beeinträchtigung im Sinne von § 7 Abs. 3 und § 9 DHG/BL statt.
3.2 Die Beschwerdeführer bringen vor, die Vorinstanz habe in Zusammenhang mit der Schutzwürdigkeit des Objekts den Sachverhalt willkürlich festgestellt. Sie präzisieren, die Vorinstanz habe in Übereinstimmung mit der Einschätzung der kantonalen Denkmalpflege entscheidend darauf abgestellt, dass das Pümpin-Haus auf der Südseite schon immer von Gebäuden umgeben gewesen sei. Dabei sei jedoch unbeachtet geblieben, dass diese früheren Bauten lediglich einen Stock aufgewiesen und sich (verglichen mit der geplanten Baute) in einem wesentlich grösseren Abstand zum Pümpin-Haus befunden hätten, sodass die Sicht auf das geschützte Objekt von der Südseite her nicht beschränkt gewesen sei. Diese Tatsachen würden durch die im bundesgerichtlichen Verfahren neu eingereichte Fotodokumentation belegt.
Zudem - so heben die Beschwerdeführer hervor - ergebe sich aus dem Protokoll des Regierungsrats vom 19. Juni 2001 zur Aufnahme des Pümpin-Hauses in das Inventar der geschützten Kulturdenkmäler, dass das Haus ein "Solitärbau" sei. Damit aber stehe die Einschätzung der Vorinstanz, das geschützte Objekt sei nicht als alleinstehendes Haus schützenswert, in klarem Widerspruch zu den Ausführungen des Regierungsrats und der entsprechenden Unterschutzstellung.
Zudem - so heben die Beschwerdeführer hervor - ergebe sich aus dem Protokoll des Regierungsrats vom 19. Juni 2001 zur Aufnahme des Pümpin-Hauses in das Inventar der geschützten Kulturdenkmäler, dass das Haus ein "Solitärbau" sei. Damit aber stehe die Einschätzung der Vorinstanz, das geschützte Objekt sei nicht als alleinstehendes Haus schützenswert, in klarem Widerspruch zu den Ausführungen des Regierungsrats und der entsprechenden Unterschutzstellung.
3.3 3.3.1 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Soweit die vorinstanzlichen Sachverhaltsfeststellungen beanstandet werden und diese für den Ausgang des Verfahrens entscheidend sind, kann nur geltend gemacht werden, die Feststellungen seien offensichtlich unrichtig oder beruhten auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Offensichtlich unrichtig bedeutet willkürlich (<ref-ruling> E. 2.4 S. 314 mit Hinweis). Willkür im Sinne von <ref-law> liegt nach ständiger Rechtsprechung vor, wenn der angefochtene Entscheid auf einer schlechterdings unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.4 S. 5).
3.3.2 Neue Tatsachen und Beweismittel dürfen im bundesgerichtlichen Verfahren nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt, was in der Beschwerde näher darzulegen ist (<ref-law>; <ref-ruling> E. 2.2.1 S. 226 mit Hinweis). Solche Umstände können namentlich darin liegen, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden.
3.4 Die Voraussetzungen von <ref-law> sind vorliegend nicht erfüllt: Wie die Vorinstanz in der Urteilsbegründung zutreffend ausgeführt hat, hielt die Kantonale Denkmalpflege bereits in ihrem Schreiben vom 2. September 2011 fest, dass das Pümpin-Haus ursprünglich nicht frei stehend, sondern von Fabrikräumlichkeiten umgeben gewesen sei. Anlässlich des vorinstanzlichen Augenscheins mit Parteiverhandlung bestätigte der Vertreter der Kantonalen Denkmalpflege diese Einschätzung. Die Beschaffenheit der Umgebung des geschützten Objekts war damit bereits im vorinstanzlichen Verfahren Thema. Es kann folglich nicht gesagt werden, dass erst der Entscheid der Vorinstanz zur Einreichung der Fotodokumentation und der weiteren Unterlagen Anlass gegeben hat. Die neuen Beweismittel erweisen sich als unzulässig.
Eine Berücksichtigung der Fotodokumentation vermöchte aber am Verfahrensausgang ohnehin nichts zu ändern: Die Vorinstanz hat in ihrer Urteilsbegründung insbesondere unter Bezugnahme auf die Ausführungen der Kantonalen Denkmalpflege erwogen, das geplante Bauprojekt gefährde den Bestand des Pümpin-Hauses nicht und auch nach der Errichtung der umstrittenen Baute bleibe die geschützte Liegenschaft der Beschwerdeführer von der Westseite her einsehbar. Inwiefern diese Sachverhaltsfeststellungen willkürlich sein sollten, ist nicht erkennbar und wird von den Beschwerdeführern auch nicht aufgezeigt. Ebenso wenig stehen diese Feststellungen in Widerspruch zu den Ausführungen des Regierungsrats im Protokoll vom 19. Juni 2001, in welchem festgestellt wurde, dass "die aufwändige und pittoreske Dachgestaltung (...) den Solitärbau zum Blickfang" mache. Hieraus kann nicht der Schluss gezogen werden, dass die Erstellung einer Baute, welche den Blick auf das geschützte Objekt von einer Seite her einschränkt, aus denkmalschützerischer Sicht von vornherein unzulässig wäre.
Eine willkürliche Anwendung von § 7 Abs. 3 und § 9 DHG/BL wird von den Beschwerdeführern nicht gerügt und ist auch nicht ersichtlich.
4. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind den unterliegenden Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftbarkeit aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdeführer haben die Beschwerdegegnerin unter solidarischer Haftbarkeit zu entschädigen (Art. 68 Abs. 1, 2 und 4 BGG). Die von der Beschwerdegegnerin eingereichte Kostennote gibt zu keinen Bemerkungen Anlass. Die kommunalen und kantonalen Behörden haben keinen Anspruch auf eine Entschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von insgesamt Fr. 3'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren zu gleichen Teilen und unter solidarischer Haftbarkeit mit insgesamt Fr. 3'646.10 zu entschädigen.
4. Dieses Urteil wird den Parteien, der Einwohnergemeinde Gelterkinden, der Baurekurskommission des Kantons Basel-Landschaft und dem Kantonsgericht Basel-Landschaft, Abteilung Verfassungs- und Verwaltungsrecht, schriftlich mitgeteilt.
Lausanne, 14. Januar 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner