La primera formación tenía por nombre Jack In Jill; el “Off” del título sería agregado más tarde por Jessicka debido a la recomendación hecha por un entonces desconocido Brian Warner, que era un amigo cercano de las integrantes de la banda; Posteriormente, Warner produciría los primeros demos de la banda y tocaría ocasionalmente con ellas.