В 1886 году победил на литературном конкурсе имени Войцеха Богуславского, организованного популярной газетой «Gazeta Polska», представив трагедию в стихах «Альберт, мэр Кракова», посвящённую восстанию в Кракове в 1311-1312 годах. Несмотря на победу в конкурсе, пьеса получила отрицательные отзывы ряда критиков. В частности, о ней резко негативно отозвался Болеслав Прус, посвятив ей отдельную статью. Сама пьеса была опубликована в 1887 году, но в театре из-за цензуры поставлена не была (премьера состоялась лишь в 1902 году в Кракове и закончилась провалом). Последующие пьесы «Эстерка» («Esterka», 1886) и «Турнир» («Turniej», 1897) были благосклонно приняты публикой и критиками и получили известность. Они были поставлены в театре и 1897 году прошли их премьеры в Кракове и Варшаве. Всего Козловский написал около 30 пьес. Кроме того он занимался литературной критикой.