W 2004 Lysacek zdobył brązowy medal w mistrzostwach czterech kontynentów, w mistrzostwach USA zajął 5. miejsce. Rok później w mistrzostwach czterech kontynentów okazał się najlepszy, a w mistrzostwach świata i mistrzostwach USA plasował się na najniższym stopniu podium. W 2006 ponownie zdobył brąz mistrzostw świata, w rywalizacji krajowej był drugi (za Weirem); na olimpiadzie w Turynie zmagał się z grypą żołądkową, ale zdołał po słabszym programie krótkim (10. miejsce) awansować tuż za podium, kończąc rywalizację na 4. miejscu.