Zielinski besuchte die Kadettenhäuser in Stolp und Berlin. Am 9. April 1791 wurde er als Fähnrich im Infanterieregiment „Jung-Woldeck“ der Preußischen Armee angestellt und avancierte bis November 1792 zum Sekondeleutnant. Im folgenden Ersten Koalitionskrieg gegen Frankreich kämpfte er bei der Kanonade von Valmy, dem Gefecht bei Rupertsberg und am Schätzel, der Schlacht bei Kaiserslautern und der Belagerung von Landau in der Pfalz. Für sein Verhalten im Gefecht bei Edinghofen erhielt Zielinski am 29. Juli 1794 den Orden Pour le Mérite.