Ordenstegnet for Frans Josef-ordenen består av et gullkantet rødemaljert kors med utbøyde korsender. Midt i korset er det plassert en medaljong i hvit emalje der bokstavene «FJ» (for Frans Josef) var plassert. Bokstavene er i gull. Det er også borden som omga medaljongen. Baksiden bærer årstallet 1849. Korset er lagt på en svartemaljert keiserlig dobbeltørn, som i nebbene holder et kjede med ordenens motto: «VIRIBUS UNITIS» (). Kjedet henger ned fra nebbene slik at mottoet kommer fram under midtmedaljongen i korset, over korsets nedre arm. Korset er opphengt i båndet i en keiserkrone. Ved tildeling for militære fortjenester ble ordenstegnet utstyrt med korslagte sverd, plassert mellom korset og kronen. Ordenstegnene for de forskjellige gradene er like, bortsett fra i størrelse og ved at de er opphengt i bånd med forskjellig utforming.