Bandet kom sammen i Edinburgh i 1977 under navnet «TV Art», men tok navnet Josef K i 1979. Musikalsk blandet gruppa post-punk-gitarer med funk og disco-rytmer. Om bandets kommersielle suksess var laber kan man se deres innflytelse på andre band som Interpol og spesielt Franz Ferdinand.