void encodestr(unsigned char *str, int len) {
  unsigned short r = 4330;
  unsigned char plain, cypher;
  while (len-- > 0) {
    plain = *str;
    cypher = (plain ^ (r >> 8));
    r = (cypher + r) * (unsigned short)52845 + (unsigned short)22719;
    *str++ = cypher;
  }
}


x86 assembly (clang, -O0):
<encodestr>:
push   %rbp
mov    %rsp,%rbp
mov    %rdi,-0x8(%rbp)
mov    %esi,-0xc(%rbp)
movw   $0x10ea,-0xe(%rbp)
mov    -0xc(%rbp),%eax
mov    %eax,%ecx
add    $0xffffffff,%ecx
mov    %ecx,-0xc(%rbp)
cmp    $0x0,%eax
jle    1170 <encodestr+0x70>
mov    -0x8(%rbp),%rax
mov    (%rax),%al
mov    %al,-0xf(%rbp)
movzbl -0xf(%rbp),%eax
movzwl -0xe(%rbp),%ecx
sar    $0x8,%ecx
xor    %ecx,%eax
mov    %al,-0x10(%rbp)
movzbl -0x10(%rbp),%eax
movzwl -0xe(%rbp),%ecx
add    %ecx,%eax
imul   $0xce6d,%eax,%eax
add    $0x58bf,%eax
mov    %ax,-0xe(%rbp)
mov    -0x10(%rbp),%cl
mov    -0x8(%rbp),%rax
mov    %rax,%rdx
add    $0x1,%rdx
mov    %rdx,-0x8(%rbp)
mov    %cl,(%rax)
jmp    1111 <encodestr+0x11>
pop    %rbp
ret

x86 assembly (clang, -O2):
<encodestr>:
test   %esi,%esi
jle    116b <encodestr+0x6b>
mov    $0x10,%al
cmp    $0x1,%esi
je     1163 <encodestr+0x63>
mov    %esi,%ecx
and    $0xfffffffe,%ecx
mov    $0x10ea,%eax
cs nopw 0x0(%rax,%rax,1)
nop
movzwl %ax,%edx
shr    $0x8,%eax
xor    (%rdi),%al
movzbl %al,%eax
add    %eax,%edx
imul   $0xce6d,%edx,%edx
add    $0x58bf,%edx
mov    %al,(%rdi)
movzwl %dx,%eax
shr    $0x8,%edx
xor    0x1(%rdi),%dl
movzbl %dl,%edx
add    %edx,%eax
imul   $0xce6d,%eax,%eax
add    $0x58bf,%eax
mov    %dl,0x1(%rdi)
add    $0x2,%rdi
add    $0xfffffffe,%ecx
jne    1120 <encodestr+0x20>
shr    $0x8,%eax
test   $0x1,%sil
je     116b <encodestr+0x6b>
xor    %al,(%rdi)
ret

LLVM IR (-O0):
define void @encodestr(i8* %0, i32 %1) {
%3 = alloca i8*
%4 = alloca i32
%5 = alloca i16
%6 = alloca i8
%7 = alloca i8
store i8* %0, i8** %3
store i32 %1, i32* %4
store i16 4330, i16* %5
br label %8
8: ; preds = %12, %2
%9 = load i32, i32* %4
%10 = add nsw i32 %9, -1
store i32 %10, i32* %4
%11 = icmp sgt i32 %9, 0
br i1 %11, label %12, label %33
12: ; preds = %8
%13 = load i8*, i8** %3
%14 = load i8, i8* %13
store i8 %14, i8* %6
%15 = load i8, i8* %6
%16 = zext i8 %15 to i32
%17 = load i16, i16* %5
%18 = zext i16 %17 to i32
%19 = ashr i32 %18, 8
%20 = xor i32 %16, %19
%21 = trunc i32 %20 to i8
store i8 %21, i8* %7
%22 = load i8, i8* %7
%23 = zext i8 %22 to i32
%24 = load i16, i16* %5
%25 = zext i16 %24 to i32
%26 = add nsw i32 %23, %25
%27 = mul nsw i32 %26, 52845
%28 = add nsw i32 %27, 22719
%29 = trunc i32 %28 to i16
store i16 %29, i16* %5
%30 = load i8, i8* %7
%31 = load i8*, i8** %3
%32 = getelementptr inbounds i8, i8* %31, i32 1
store i8* %32, i8** %3
store i8 %30, i8* %31
br label %8
33: ; preds = %8
ret void
}

LLVM IR (-O2):
define void @encodestr(i8* nocapture %0, i32 %1) {
%3 = icmp sgt i32 %1, 0
br i1 %3, label %4, label %45
4: ; preds = %2
%5 = and i32 %1, 1
%6 = icmp eq i32 %1, 1
br i1 %6, label %38, label %7
7: ; preds = %4
%8 = and i32 %1, -2
br label %9
9: ; preds = %9, %7
%10 = phi i8* [ %0, %7 ], [ %32, %9 ]
%11 = phi i32 [ 4330, %7 ], [ %31, %9 ]
%12 = phi i32 [ 0, %7 ], [ %33, %9 ]
%13 = load i8, i8* %10
%14 = and i32 %11, 65535
%15 = lshr i32 %11, 8
%16 = trunc i32 %15 to i8
%17 = xor i8 %13, %16
%18 = zext i8 %17 to i32
%19 = add nuw nsw i32 %14, %18
%20 = mul nuw nsw i32 %19, 52845
%21 = add nuw nsw i32 %20, 22719
%22 = getelementptr inbounds i8, i8* %10, i64 1
store i8 %17, i8* %10
%23 = load i8, i8* %22
%24 = and i32 %21, 65535
%25 = lshr i32 %21, 8
%26 = trunc i32 %25 to i8
%27 = xor i8 %23, %26
%28 = zext i8 %27 to i32
%29 = add nuw nsw i32 %24, %28
%30 = mul nuw nsw i32 %29, 52845
%31 = add nuw nsw i32 %30, 22719
%32 = getelementptr inbounds i8, i8* %10, i64 2
store i8 %27, i8* %22
%33 = add i32 %12, 2
%34 = icmp eq i32 %33, %8
br i1 %34, label %35, label %9
35: ; preds = %9
%36 = lshr i32 %31, 8
%37 = trunc i32 %36 to i8
br label %38
38: ; preds = %35, %4
%39 = phi i8* [ %0, %4 ], [ %32, %35 ]
%40 = phi i8 [ 16, %4 ], [ %37, %35 ]
%41 = icmp eq i32 %5, 0
br i1 %41, label %45, label %42
42: ; preds = %38
%43 = load i8, i8* %39
%44 = xor i8 %43, %40
store i8 %44, i8* %39
br label %45
45: ; preds = %42, %38, %2
ret void
}