Mientras su padre trabajaba largas horas como un operario de grúa, Jermaine y sus hermanos Tito y Jackie practicaban sus propias canciones, a veces con la guitarra de su padre.