Symboly na vlajce znázorňovaly historii daného plavidla. Úkolem každého mužstva bylo postarat se o aktuálnost údajů. Muzeum ponorkového královského námořnictva (které k roku 2004 vlastnilo 15 Jolly Rogerů) rozeznává na 20 unikátních symbolů. Symbol pruhu značil potopení lodi za použití torpéda, barevné odlišení bylo následující: červený pruh znamenal válečné lodě, bílý zastupoval obchodní plavidla a černý s bílým písmenem "„U“" symbolizoval německé U-Boaty. Dýka označovala špionážní operace; většinou se jednalo o přepravu a extrakci členů námořní pěchoty operující na nepřátelském území. Hvězdy (občas svírající symbol zkřížených děl) dávaly najevo, že posádka použila palubní střeleckou věž. Minonosné operace byly znázorněny obrysem námořní miny; číslo uvnitř min značilo počet provedených operací. Symbol majáku či pochodně znamenal, že plavidlo bylo použito jako navigační bod pro invazní jednotky. Logo pochodně bylo zejména spjaté s Operací Torch (z angl. pochodeň).