A principios de 1950, Rollins fue arrestado por robo a mano armada y pasó diez meses en la cárcel de Rikers Island antes de su libertad condicional; en 1952, fue arrestado de nuevo por violar los términos de su libertad condicional al usar heroína.