1804 kam er als Lehrer für Philosophie und Geschichte an das Königliche Gymnasium in Posen. Er wendete sich gegen die Herabsetzung der Polen und rühmte den Reichtum, die lexikalische und grammatikalische Bildsamkeit, die Energie, den Wohlklang und das Musikalische der polnischen Sprache. Wegen dieser Schrift "Ueber den Geist der polnischen Sprache" (1804) wurde er in die Königliche Gesellschaft der Freunde der Wissenschaften und in die "Literarische Gesellschaft der Universität in Krakau" aufgenommen. 1806, im Jahr der Schlacht bei Jena und Auerstedt, schlug Kaulfuß dem Erziehungskomité im Herzogtum Warschau eine „Nationalerziehung für unsern Staat“ vor. Stanisław Staszic war angetan.