Olliver stiftet bandet i 2001, men forlot det i 2007 for å spille med det Svenske bandet CRASHDÏET. Han skulle steppe inn for den tidligere sangeren, Dave Lepard, som begikk selvmord i 2006. Olliver fikk bare gitt ut et album med CRASHDÏET, The Unattractive Revolution. Deretter forlot han CRASHDÏET for å gå tilbake til det gamle bandet, Reckless Love. Da Olliver returnerte, begynte bandet på den første fulle platen som de har kalt "Reckless Love". Den mest kjente sangen blant topplistene er "Beautiful Bomb". Oliver er veldig inspirert av Van Halen-sangeren David Lee Roth og har coveret en del sanger av både David som solo og tiden i Van Halen.