În 2003, Jeff își formează propria trupă de muzică, intitulată Peroxwhy?gen, alături de wrestlerul și bunul său prieten Shannon Moore. Trupa a înregistrat două melodii.Prima s-a numit "September Day" și a fost scrisă de Jeff în amintirea atentatelor din 11 septembrie 2001. A doua piesă s-a numit "Modest" și a fost folosită de Jeff ca melodie de intrare în perioada în care a evoluat în TNA. După lansarea celei de-a doua melodii, unele persoane susțineau că Hardy ar fi părăsit formația Peroxwhy?gen. Deși informațiile au fost infirmate, unul din moderatorii site-ului oficial al fraților Hardy a pretins că Jeff lucrează la o carieră muzicală solo.