Sachverhalt:
A. Am 23. März 2011 erstattete die Y._GmbH gegen X._ Strafanzeige wegen Sachbeschädigung. Die Staatsanwaltschaft Basel-Landschaft eröffnete ein Strafverfahren, stellte dieses jedoch mit Verfügung vom 11. August 2011 wieder ein. Zur Begründung führte sie aus, X._ werde vorgeworfen, am 23. März 2011 um 16:15 Uhr an der Gartenstrasse 12 in Binningen den dort geparkten Personenwagen der Y._GmbH an der Heckklappe mit einer Plastikauszugsleine zerkratzt zu haben. Dabei sei ein Sachschaden in der Höhe von Fr. 1'142.30 (zzgl. 8 % MwSt) entstanden. Zum erwähnten Zeitpunkt sei X._ von einem Spaziergang nach Hause gekommen, wobei er einen Hund an einer Plastikauszugsleine geführt habe. Er sei am Heck des Personenwagens vorbeigegangen. Auf dessen Führersitz sei ein Angestellter der Y._GmbH gesessen und habe einen Arbeitsrapport ausgefüllt. Der Angestellte habe später ausgesagt, er habe ein metallisches Geräusch wahrgenommen, jedoch nichts gesehen und sei erst rund zwei, drei Minuten später ausgestiegen. Er habe an der Hecktüre einen Schaden bemerkt, von dem er angenommen habe, er stamme von X._. Die Staatsanwaltschaft kam zum Schluss, da der Beschuldigte den Vorwurf bestreite und dieser ihm nicht mit hinreichender Sicherheit nachgewiesen werden könne, sei das Verfahren einzustellen. Die Verfahrenskosten seien auf die Staatskasse zu nehmen (Ziff. 3 der Verfügung) und der beschuldigten Person sei keine Entschädigung oder Genugtuung auszurichten (Ziff. 4 der Verfügung).
Am 22. August 2011 erhob X._ Beschwerde beim Kantonsgericht Basel-Landschaft und beantragte, es sei Ziff. 4 der Einstellungsverfügung aufzuheben und es sei ihm eine Entschädigung von Fr. 2'880.45 auszurichten. Mit Beschluss vom 1. November 2011 wies das Kantonsgericht die Beschwerde ab.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 13. Dezember 2011 beantragt X._, der Beschluss des Kantonsgerichts sei aufzuheben. Es sei ihm für das Verfahren vor der Staatsanwaltschaft eine Entschädigung von Fr. 2'880.45 und für das Verfahren vor dem Kantonsgericht eine solche von Fr. 2'000.-- auszurichten.
Das Kantonsgericht beantragt die Abweisung der Beschwerde. Die Y._GmbH und die Staatsanwaltschaft haben sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Der angefochtene Entscheid betrifft die Einstellung einer Strafuntersuchung. Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben. Dies gilt auch für den Kostenentscheid.
1.2 Die Einstellungsverfügung datiert vom 17. Februar 2011. Anwendbar ist deshalb die am 1. Januar 2011 in Kraft getretene Schweizerische Strafprozessordnung (StPO; SR 312.0; siehe Art. 453 f. StPO und <ref-ruling> E. 1.1 S. 221 mit Hinweisen).
1.3 Der Beschwerdeführer kann den Entscheid über die Verweigerung einer Entschädigung anfechten, da er diesbezüglich ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids hat (<ref-law>); dies unbesehen des Umstands, dass er durch die Verfahrenseinstellung an sich nicht beschwert ist (vgl. Urteile 4A_637/2010 vom 2. Februar 2011 E. 4, 1C_180/2009 vom 14. Oktober 2009 E. 3.1; je mit Hinweisen).
1.4 Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2. 2.1 Das Kantonsgericht führte aus, der Beschwerdeführer habe keinen Anspruch auf eine Entschädigung im Sinne von <ref-law>. Weder erweise sich der Sachverhalt als komplex noch seien persönliche Verhältnisse ersichtlich, welche den Beizug eines Anwalts gebieten würden. Dies zeige sich auch an der geringen Schadenshöhe. Es sei davon auszugehen, dass sich eine erwachsene Person gegen den Tatvorwurf, wie er hier erhoben worden sei, in der Regel selber hinreichend zu verteidigen wisse. Wenn der Beschwerdeführer behaupte, er habe zu Beginn des Verfahrens nicht einmal gewusst, was ihm konkret vorgeworfen werde, so könne dem nicht gefolgt werden. In der Einvernahme vom 29. März 2011, zu der er noch ohne anwaltliche Vertretung erschienen sei, habe er vielmehr gesagt, er wisse, weshalb er vorgeladen worden sei. Es werde ihm vorgeworfen, er habe einen Personenwagen zerkratzt.
2.2 Der Beschwerdeführer erblickt im Beschluss des Kantonsgerichts eine Verletzung von <ref-law>, von Art. 9 und Art. 32 Abs. 1 BV sowie von Art. 6 Ziff. 3 lit. b EMRK. Es sei jeder beschuldigten Person zuzugestehen, nach Einleitung einer Strafuntersuchung, die ein Verbrechen oder ein Vergehen zum Gegenstand habe und welche nach einer ersten Einvernahme nicht eingestellt, sondern weitergeführt werde, einen Anwalt beizuziehen. Er sei der Sachbeschädigung, also eines Vergehens, beschuldigt worden. Zu diesem Vorwurf sei er anlässlich der ersten Einvernahme vom 29. März 2011 von der Polizei Basel-Landschaft befragt worden, jedoch nur als Auskunftsperson. Erst als die Staatsanwaltschaft Basel-Landschaft am 13. April 2011 die Eröffnung des Vorverfahrens verfügte, habe er sich gezwungen gesehen, einen Anwalt zu beauftragen. Nach der Eröffnung des Vorverfahrens habe am 27. April 2011 die Befragung einer Auskunftsperson und am 9. Juni 2011 erneut eine Einvernahme von ihm selber stattgefunden. Sein Anwalt habe an beiden Einvernahmen teilgenommen und vom Fragerecht Gebrauch gemacht. Erst am 11. August 2011, nach insgesamt drei Einvernahmen, sei das Verfahren gegen ihn eingestellt worden.
2.2 Der Beschwerdeführer erblickt im Beschluss des Kantonsgerichts eine Verletzung von <ref-law>, von Art. 9 und Art. 32 Abs. 1 BV sowie von Art. 6 Ziff. 3 lit. b EMRK. Es sei jeder beschuldigten Person zuzugestehen, nach Einleitung einer Strafuntersuchung, die ein Verbrechen oder ein Vergehen zum Gegenstand habe und welche nach einer ersten Einvernahme nicht eingestellt, sondern weitergeführt werde, einen Anwalt beizuziehen. Er sei der Sachbeschädigung, also eines Vergehens, beschuldigt worden. Zu diesem Vorwurf sei er anlässlich der ersten Einvernahme vom 29. März 2011 von der Polizei Basel-Landschaft befragt worden, jedoch nur als Auskunftsperson. Erst als die Staatsanwaltschaft Basel-Landschaft am 13. April 2011 die Eröffnung des Vorverfahrens verfügte, habe er sich gezwungen gesehen, einen Anwalt zu beauftragen. Nach der Eröffnung des Vorverfahrens habe am 27. April 2011 die Befragung einer Auskunftsperson und am 9. Juni 2011 erneut eine Einvernahme von ihm selber stattgefunden. Sein Anwalt habe an beiden Einvernahmen teilgenommen und vom Fragerecht Gebrauch gemacht. Erst am 11. August 2011, nach insgesamt drei Einvernahmen, sei das Verfahren gegen ihn eingestellt worden.
2.3 2.3.1 Wird die beschuldigte Person ganz oder teilweise freigesprochen oder wird das Verfahren gegen sie eingestellt, so hat sie gemäss <ref-law> Anspruch auf Einschädigung ihrer Aufwendungen für die angemessene Ausübung ihrer Verfahrensrechte. Vorliegend stellt sich die Frage, ob die Mandatierung eines Anwalts als angemessene Ausübung der Verfahrensrechte qualifiziert werden kann.
Laut der Botschaft des Bundesrats setzt <ref-law> die Rechtsprechung um, wonach der Staat die entsprechenden Kosten nur übernimmt, wenn der Beistand angesichts der tatsächlichen oder der rechtlichen Komplexität notwendig war und wenn der Arbeitsaufwand und somit das Honorar des Anwalts gerechtfertigt waren (Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2006 1329 Ziff. 2.10.3.1). Dieser Hinweis in der bundesrätlichen Botschaft ist für die Interpretation von <ref-law> insofern wenig hilfreich, als sich das Bundesgericht in seiner bisherigen Rechtsprechung zur Frage der Entschädigung zum einen im Wesentlichen auf eine Willkürprüfung der Anwendung von kantonalem Strafprozessrecht beschränkte und zum andern die kantonalen Regelungen durchaus nicht identisch waren, wie sich anhand folgender Beispiele aufzeigen lässt: Nach § 43 Abs. 2 der Strafprozessordnung vom 4. Mai 1919 des Kantons Zürich (StPO/ZH; LS 321) hatte ein Angeschuldigter, dem wesentliche Kosten und Umtriebe entstanden sind, Anspruch auf Entschädigung. Das Bundesgericht hielt dazu fest, die Zürcher Praxis, wonach Kosten der privaten Verteidigung in Übertretungsstrafsachen nur dann als "wesentliche Kosten und Umtriebe" im Sinne von <ref-law>/ZH zu qualifizieren sind, wenn tatsächliche oder rechtliche Schwierigkeiten den Beizug eines Anwaltes als sachlich geboten erscheinen lassen, sei nicht schlechterdings unhaltbar bzw. willkürlich (Urteil 1P.482/1996 vom 11. November 1996 E. 1c). Andere kantonale Strafprozessordnungen regelten den Anspruch auf Entschädigung in Form einer Kann-Bestimmung (so etwa das Gesetz des Kantons Basel-Landschaft vom 3. Juni 1999 betreffend die Strafprozessordnung [StPO/BL; SGS 251] in § 33 Abs. 1: "Wird die angeschuldigte Person freigesprochen, wird das Verfahren eingestellt oder wird ihm keine Folge gegeben, kann ihr die mit der Beendigung des Verfahrens befasste Behörde auf Antrag eine angemessene Entschädigung für ungerechtfertigte Haft, für Anwaltskosten sowie für anderweitige Nachteile zusprechen."). Zum früheren st. gallischen Recht führt OBERHOLZER aus, dass ein Anspruch auf Ersatz der Vertretungskosten unabhängig davon gewährleistet gewesen sei, ob der Beizug eines Verteidigers im Untersuchungs- oder Gerichtsverfahren aufgrund der tatsächlichen und rechtlichen Schwierigkeiten notwendig war oder nicht (NIKLAUS OBERHOLZER, Grundzüge des Strafprozessrechts, 2. Aufl., 2005, Rz. 1839).
<ref-law>, der mit Inkrafttreten der Schweizerischen Strafprozessordnung am 1. Januar 2011 die kantonalen Entschädigungsregelungen ablöste, wurde in den parlamentarischen Beratungen diskussionslos angenommen (AB 2006 S 1059; AB 2007 N 1032). Insgesamt ist deshalb festzuhalten, dass die Materialien der Gesetzgebung nur in beschränktem Masse Anhaltspunkte für die Auslegung bieten. Von einer Rechtsprechung, an die eins zu eins angeknüpft werden könnte, kann nach dem Gesagten kaum die Rede sein. Immerhin geht aus der Botschaft hervor, dass nach Ansicht des Bundesrats die tatsächliche und rechtliche Komplexität des Falls eine Rolle spielen soll.
2.3.2 Eine Durchsicht der Fachliteratur ergibt folgendes Bild: KÜNG, RIKLIN und SCHMID verweisen im Wesentlichen auf die in der Botschaft dargelegte Interpretation (HANSPETER KÜNG, in: Kommentierte Textausgabe zur schweizerischen Strafprozessordnung, 2008, <ref-law>; FRANZ RIKLIN, Schweizerische Strafprozessordnung, 2010, N. 3 zu <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, 2009, N. 7 zu <ref-law>). GRIESSER geht ebenfalls vom Ansatz der Botschaft aus und fügt bei, nach heutigem Verständnis werde man - abgesehen von Bagatellfällen - jeder beschuldigten Person zubilligen, dass sie nach Einleitung einer Strafuntersuchung, die Verbrechen oder Vergehen zum Gegenstand habe und die nach einer ersten Einvernahme nicht eingestellt worden sei, einen Anwalt beiziehe. Diese Grundsätze sollten zudem auch für Übertretungen gelten (jedenfalls wenn es zu einem gerichtlichen Verfahren komme), wobei die Frage der Angemessenheit nach der Schwere der Anschuldigung in persönlicher und sachlicher Hinsicht zu beurteilen sei (YVONA GRIESSER, in: Kommentar zur Schweizerischen Strafprozessordnung (StPO), 2010, N. 4 zu <ref-law>). Ähnlich ist die Auffassung von MIZEL und RÉTORNAZ, wonach sich die anwaltliche Vertretung bei Verbrechen und Vergehen prinzipiell und bei Übertretungen dann rechtfertigt, wenn für den Beschuldigten einiges auf dem Spiel steht (CÉDRIC MIZEL/VALENTIN RÉTORNAz, in: Commentaire romand, Code de procédure pénale suisse, 2011, N. 31 zu <ref-law>). Nach WEHRENBERG und BERNHARD ist es ebenfalls gerechtfertigt, jedem Beschuldigten zuzugestehen, nach Einleitung einer Strafuntersuchung, die ein Verbrechen oder Vergehen zum Gegenstand hat und die nach einer ersten Einvernahme nicht eingestellt, sondern weitergeführt wird, einen Anwalt beizuziehen. Da es immer schwieriger und gleichzeitig immer wichtiger werde, nicht nur das Gesetz, sondern auch die Rechtsprechung dazu zu kennen und dies in der Regel einem Laien nicht zugemutet werden könne, könne von diesem auch nicht verlangt werden, sich selbst zu verteidigen. Vielmehr sei es in Nachachtung des Anspruchs auf Waffengleichheit der beschuldigten Person zu ermöglichen, einen Verteidiger beizuziehen. Ausserdem könne zu Beginn eines Verfahrens nur schwer abgeschätzt werden, ob Komplikationen entstehen werden. Für eine wirksame Verteidigung sei es zudem in der Regel wesentlich, möglichst früh im Verfahren damit beginnen zu können (STEFAN WEHRENBERG/IRENE BERNHARD: in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 14 zu <ref-law>).
2.3.3 Der Anspruch aus <ref-law> ist von der notwendigen und der amtlichen Verteidigung abzugrenzen. Ein Anspruch auf Entschädigung für Verteidigungskosten im Falle einer Verfahrenseinstellung oder eines Freispruchs gestützt auf <ref-law> besteht nicht nur in den Fällen der notwendigen Verteidigung im Sinne von <ref-law>. Ein Anspruch besteht auch nicht nur in den Fällen, in denen bei Mittellosigkeit der beschuldigten Person gestützt auf <ref-law> eine amtliche Verteidigung hätte angeordnet werden müssen, weil dies zur Wahrung der Interessen der beschuldigten Person geboten gewesen wäre. Der Beizug eines Wahlverteidigers kann sich mit anderen Worten als angemessene Ausübung der Verfahrensrechte erweisen, auch wenn er nicht als geradezu geboten erscheint.
2.3.4 Die Botschaft weist auf zwei kumulative Voraussetzungen hin: Sowohl der Beizug eines Verteidigers als auch der von diesem betriebene Aufwand müssen sich als angemessen erweisen (BBl 2006 1329 Ziff. 2.10.3.1). Diese Differenzierung kommt zwar im Wortlaut von <ref-law>, wo global von "angemessener Ausübung ihrer Verfahrensrechte" die Rede ist, nicht direkt zum Ausdruck; sie steht indessen im Einklang mit der herrschenden Lehre und der Praxis zum früheren Recht. Daran ist weiterhin festzuhalten. Es ist somit nicht auszuschliessen, dass im Einzelfall schon der Beizug eines Anwalts an sich als nicht angemessene Ausübung der Verfahrensrechte bezeichnet werden könnte.
2.3.5 Die in der Literatur erkennbare Stossrichtung, einem Beschuldigten in der Regel den Beizug eines Anwalts zuzubilligen, jedenfalls von einer bestimmten Schwere des Deliktsvorwurfs an, erscheint sachlich gerechtfertigt. Es darf nicht vergessen werden, dass es im Rahmen von <ref-law> um die Verteidigung einer vom Staat zu Unrecht beschuldigten und gegen ihren Willen in ein Strafverfahren einbezogenen Person geht (hat die beschuldigte Person die Einleitung des Verfahrens rechtswidrig und schuldhaft bewirkt, so kann die Entschädigung gemäss <ref-law> trotz vermuteter Unschuld herabgesetzt oder verweigert werden). Das materielle Strafrecht und das Strafprozessrecht sind zudem komplex und stellen insbesondere für Personen, die das Prozessieren nicht gewohnt sind, eine Belastung und grosse Herausforderung dar. Wer sich selbst verteidigt, dürfte deshalb prinzipiell schlechter gestellt sein. Dies gilt grundsätzlich unabhängig von der Schwere des Deliktsvorwurfs. Auch bei blossen Übertretungen darf deshalb nicht generell davon ausgegangen werden, dass die beschuldigte Person ihre Verteidigerkosten als Ausfluss einer Art von Sozialpflichtigkeit selbst zu tragen hat. Im Übrigen sind beim Entscheid über die Angemessenheit des Beizugs eines Anwalts neben der Schwere des Tatvorwurfs und der tatsächlichen und rechtlichen Komplexität des Falls insbesondere auch die Dauer des Verfahrens und dessen Auswirkungen auf die persönlichen und beruflichen Verhältnisse der beschuldigten Person zu berücksichtigen.
Was die Angemessenheit des vom Anwalt betriebenen Aufwands betrifft, so wird sich dieser in aus juristischer Sicht einfachen Fällen auf ein Minimum beschränken; allenfalls muss es gar bei einer einfachen Konsultation sein Bewenden haben. Nur in Ausnahmefällen wird bei Verbrechen und Vergehen schon der Beizug eines Anwalts an sich als nicht angemessene Ausübung der Verfahrensrechte bezeichnet werden können. Diesbezüglich sei auf den in der Literatur erwähnten Fall hingewiesen, wo das Verfahren bereits nach einer ersten Einvernahme eingestellt wird. Wann konkret von einem derartigen Ausnahmefall auszugehen ist, braucht indessen vorliegend nicht abschliessend erörtert zu werden.
2.3.6 Die Frage, ob der Beizug eines Verteidigers und der von diesem betriebene Aufwand eine angemessene Ausübung der Verfahrensrechte darstellen, ist bundesrechtlicher Natur. Das Bundesgericht prüft deren Beantwortung und mithin die Auslegung von <ref-law> frei. Es auferlegt sich indessen eine gewisse Zurückhaltung gegenüber der vorinstanzlichen Einschätzung, insbesondere hinsichtlich der Frage, welcher Aufwand des Verteidigers im konkreten Fall noch als angemessen zu bezeichnen ist.
2.3.7 Aus den Akten ergeben sich folgende Eckdaten: Am 29. März 2011 wurde der Beschwerdeführer von der Polizei als Auskunftsperson einvernommen. Am 13. April 2011 eröffnete die Staatsanwaltschaft ein Strafverfahren wegen Sachbeschädigung (<ref-law>). Dabei handelt es sich um ein Vergehen (<ref-law>). Auch wenn der konkrete Vorwurf persönlich und materiell am unteren Rand der Schwelle liegt, die den Beizug eines Anwalts rechtfertigen kann, wurde das Verfahren von den Strafverfolgungsbehörden doch mit einiger Hartnäckigkeit weiterverfolgt. Mit Schreiben vom 19. April 2011 teilte der Rechtsvertreter des Beschwerdeführers der Staatsanwaltschaft mit, von diesem mit der Wahrung seiner Interessen beauftragt worden zu sein. Am 27. April 2011 wurde der Angestellte der Y._GmbH in Anwesenheit des Verteidigers des Beschwerdeführers als Auskunftsperson befragt. Am 7. Juni 2011 wurde der Beschwerdeführer erneut einvernommen, diesmal von der Staatsanwaltschaft und als beschuldigte Person. Zunächst erfolgte die Einvernahme zur Sache, bei welcher der Verteidiger des Beschwerdeführers anwesend war. Im Anschluss wurde der Beschwerdeführer noch zu seiner Person befragt, wobei der Verteidiger diesem Teil nicht mehr beiwohnte. Das Strafverfahren wurde am 11. August 2011 eingestellt.
Vor dem Hintergrund der obigen Ausführungen gebietet <ref-law> in einer solchen Situation, dass dem Beschwerdeführer eine Entschädigung zugesprochen wird. Die Rüge des Beschwerdeführers, die Vorinstanz habe diese Bestimmung verletzt, erweist sich deshalb als begründet. Der angefochtene Beschluss ist aufzuheben, und es kann offenbleiben, wie es sich mit den weiteren erwähnten Rügen verhält.
3. Die Beschwerde ist gutzuheissen und der angefochtene Beschluss aufzuheben. Die Angelegenheit wird zur Festsetzung einer angemessenen Entschädigung an die Vorinstanz zurückgewiesen.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Basel-Landschaft hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Beschluss vom 1. November 2011 des Kantonsgerichts Basel-Landschaft, Abteilung Strafrecht, aufgehoben. Die Angelegenheit wird zur neuen Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Basel-Landschaft hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft und dem Kantonsgericht Basel-Landschaft, Abteilung Strafrecht, schriftlich mitgeteilt.
Lausanne, 11. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold