Sachverhalt: A. X._ erhob mit Schreiben vom 9. Dezember 2012 Strafklage gegen Y._. Er warf diesem im Wesentlichen vor, ihm ein Rechaud weggenommen zu haben. Er empfange als abgewiesener Asylsuchender in der Gemeinde Mels Nothilfe und benutze als Unterkunft einen ihm zur Verfügung gestellten Container. Am 5. Dezember 2011 habe er sein Rechaud nicht mehr im Container vorgefunden. Y._ habe bestätigt, dass er das Rechaud weggenommen habe. Dadurch habe dieser ihm einen Nachteil zugefügt, denn ohne Rechaud könne er sich nur ungenügend ernähren. Die Unterstützung von Fr. 8.--, die er pro Tag erhalte, reiche nicht aus, wenn man nicht die Gelegenheit habe, selbst zu kochen. Feuerpolizeiliche Gründe seien zudem nicht ausschlaggebend gewesen, dies habe der Gemeindepräsident schon bei früherer Gelegenheit festgestellt, als ein anderes Rechaud ebenfalls entfernt worden sei. Y._ meine vielmehr, dass er es den Nothilfeempfängern nicht zu bequem machen wolle. Die Staatsanwaltschaft des Kantons St. Gallen übermittelte das Schreiben von X._ zur Durchführung eines Ermächtigungsverfahrens an die Anklagekammer des Kantons St. Gallen. Mit Entscheid vom 14. Februar 2012 entschied die Anklagekammer, gegen Y._ werde kein Strafverfahren eröffnet. B. Mit Beschwerde vom 1. März 2012 an das Bundesgericht beantragt X._, der Entscheid der Anklagekammer sei aufzuheben und diese sei anzuweisen, das Strafverfahren zu eröffnen. Eventualiter sei die Sache zur Sachverhaltsergänzung an die Anklagekammer zurückzuweisen. Die Anklagekammer hat auf eine Vernehmlassung verzichtet. Die Gemeinde Mels und Y._ beantragen, die Beschwerde sei abzuweisen und es sei ein Kostenvorschuss für die Gerichtsgebühr zu verlangen, zumal das Verhalten des Beschwerdeführers querulatorische Züge habe. Auf eine Parteientschädigung werde indessen verzichtet, weil der Beschwerdeführer von der Sozialhilfe abhängig sei und ausser zusätzlichen Kosten und Aufwänden nichts resultieren würde. Der Beschwerdeführer hält in seiner Stellungnahme dazu im Wesentlichen an seinen Anträgen und Rechtsauffassungen fest.