Tidligere ble polemikk også kalt for «pennekrig» eller «pennefeide», som regel ført i det offentlige rom som skriftlig i aviser og tidsskrifter. Begrepet brukes også om tidsskriftsartikkel med en særdeles skarp brodd mot andres meninger, men også om usaklig kritikk. Det ligger i sakens natur at polemikker ofte er kontroversielle og preget av konflikter. Den gang injurieloven var langt mindre streng enn den er i våre dager, var polemisk journalistikk langt mer alminnelig i det kontinentale Europa. Historisk har det hatt sine konsekvenser: i publiseringen av den polemiske pamfletten (1702) hevdet Daniel Defoe at den beste måten å håndtere dissentere på var å forvise dem til utlandet og sende deres predikanter til bøddelen. For dette ble han dømt for opprørske injurier og satt i gapestokken de tre siste dagene av juli 1703. En polemiker er en stridslysten skribent, en som ikke vegrer seg å ta del i polemikker. Polemikk brukes også ofte negativt, eksempelvis når en debattant vil stemple en annen som man diskuterer med ved å kalle vedkommende for en polemiker.