Criss fue el más joven de cuatro hijos, entre los que se encontraba Jon Oliva, vocalista con quien formó la agrupación Savatage.