Sachverhalt: A. Die X._ GmbH ist Eigentümerin der Parzelle Nr. 398 in Oberkirch. Sie beabsichtigt eine Aufstockung des bestehenden Untergeschosses mit einem eingeschossigen Bürogeschoss, das eine Fläche von 135,22 m2 aufweisen soll. Hierfür reichte sie am 20. Mai 2010 bei der Gemeinde Oberkirch ihr Baugesuch ein. Gegen das aufgelegte Projekt erhoben mehrere Personen, die Stockwerkeigentümer des benachbarten Grundstücks Nr. 857 sind, öffentlich-rechtliche Einsprache. Der Gemeinderat Oberkirch wies die Einsprachen am 10. März 2011 ab, soweit er sie nicht an den Zivilrichter verwies, und bewilligte das Bauvorhaben. Die Einsprecher erhoben dagegen am 11. April 2011 Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Luzern. Das Verwaltungsgericht wies die Beschwerde am 4. Januar 2012 ab, soweit darauf einzutreten war. B. Gegen diesen Entscheid des Verwaltungsgerichts haben die im Rubrum genannten Personen beim Bundesgericht am 8. Februar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Sie beantragen die Aufhebung des angefochtenen Urteils unter Neuverteilung der Verfahrens- und Parteikosten und der Baubewilligung des Gemeinderats Oberkirch vom 10. März 2011. Sie machen eine offensichtlich unrichtige Sachverhaltsfeststellung geltend und rügen Verletzungen von Ausstandsvorschriften, der Eigentumsgarantie und von kantonalem Recht. Die X._ GmbH als Beschwerdegegnerin beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Die Gemeinde Oberkirch stellt Antrag auf Abweisung, soweit auf die Beschwerde eingetreten werden könne. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet. In ihrer Replik halten die Beschwerdeführer an ihren Anträgen fest.