Østby var ett av de få bandemedlemmene som var straffedømt. I 1935 fikk han advarsel fra politiet for å ha blottet seg og onanert på offentlig sted. Samme år slo han en 19 år gammel jente med en hammer under et voldtektsforsøk. I 1938 prøvde han å voldta en femtenåring, men slapp med 60 dagers fengsel. Med et slikt rulleblad, og spesielt etter drapet på agenten Marino Nilsson, ville Østby normalt blitt droppet av Gestapo; men da var han blitt altfor viktig for Henry Rinnan.