evlilik yaşamlarını anlatan reality show Newlyweds'te görünüyordu. Kendi müzik kariyerinin başlaması ile, kendi MTV reality show'u "The Ashlee Simpson Show", 2004 yazında gösterilmeye başladı ve iki sezon sürdü. Show, albümün yazım, kayıt ve performans sürecini konu aldığı kadar Ashlee'nin özel yaşamını da ekrana yansıtmaktaydı.

Canlı performanslarda Ashlee'nin arkasında çalan grup üyeleri Ray Brady (gitar), Braxton Olita (gitar), Joey Kaimana (bass guitar—2004ten 2005e kadar Zach Kennedy onun yerine çaldı), Chris James (keyboard ve vokaller—2004ün sonlarından 2005e Lucy Walsh onun yerini aldı), ve Chris Fox (davul).

Ashlee Simpson'un 2004'te Saturday Night Live'da yaşadıkları pek çok tartışmaya yol açtı.

23 Ekim 2004'te Saturday Night Live'a konuk olmuştu. Program formatına göre, 2 şarkı seslendirmesi gerekmekteydi. İlk şarkısı, Pieces of Me'yi problemsiz bir şekilde söyledi. Fakat, ardından "Autobiography" isimli daha az bilinen şarkıyı söyleyecekken, Pieces of Me -onun söylediği kısımlar dahil- yeniden çalmaya başladı, üstelik mikrofon şarkıyı onun söylemediği açık bir şekilde, ağzından uzaktaydı. Ashlee, düzensiz bir dans ile sahneyi terk etti ve kanal reklam arası verdi.

Ashlee, program kapanışında grubunun yanlış şarkıyı çaldığını söyledi, ama çoğunlukla sahnede lip synch yaptığı, yani sesinin arkadan verildiği ve onun dudaklarını şarkı söylüyormuş gibi oynattığı iddia ediliyordu.

Ekimin 25inde MTV'de TRL'e yaptığı canlı telefon bağlantısında, durumu açıklığa kavuşturdu. Reflü (daha önce Ashlee Simpson Show'da da gösterilen) hastalığından dolayı o günlerde sıkıntı çekmekteydi ve doktoru ona kesinlikle şarkı söylememesini tavsiye etmişti. Zaten sesini tamamen kaybetmişti. Babası ve menajeri Joe, ona sesi arkadan vokal sesi vererek bu performansı yapabileceğini söylemişti. Fakat işler bekledikleri gibi gitmemişti. Olay hakkında "Kendimi küçük düşürdüm" diyordu. Açıklamaya göre davulcu bir tuşa basarak vokal kaydının girmesini sağlayacaktı fakat yanlış tuşa basarak yanlış şarkının çalmasına sebep olmuştu.

25 Ekimde Radio Music Awards'ta verdiği performansta, olayla ilgili bir şaka yaptı ve sanki yine SNL'deki olay tekrarlanıyormuş gibi yaptı ama ardından bu kez arkadan çalan herhangi bir vokal parçası olmadan performansı verdi.

4 Ocak 2005'te, Simpson, Miami, Florida'da Orange Bowl devre arası gösterisinde "La La" isimli parçasını seslendirdi, performansı bittiğinde 72000den fazla seyircinin çoğu onu yuhaladılar. Orange Bowl temsilcileri performanstan son derece memnun olduklarını ve yuhalamanın SNL olayına bir tepki olabileceğini belirttiler, kimileriyse, Orange Bowl izleyicilerinin Ashlee Simpson'ın hedef kitlesine uzak olmasını sebep gösterdiler.

Orange Bowl performansının ardından bir İnternet İmza kampanyası sitesi PetitionOnline.com'da açılan ona karşı kampanya "Lütfen Ashlee'yi Durdurun" en aktif kampanyalardan biri oldu. Simpson konuyla ilgili "Bu güzel bir şey. Her müziğin hayranı olmak zorunda değilsiniz" diyerek kendi hayranlarından gelen desteği referans gösterdi. Bu sıralarda Cosmopolitan dergisi Ashlee'yi kapağına koyup, "Yılın Hayran Korkusu Olmayan Kadını" seçti

Simpson, Şubat ortalarından Nisan 2005'e kadar süren ilk Amerika geneli turnesine çıktı, turnede Pepper's Ghost ve The Click Five ön gruplarıydı. Autobiography'e ek olarak turnede yeni şarkılar da söyledi. Bu turneyle birlikte Ashlee Sİmpson Show'un da sonu geldi.

Simpson, Undiscovered isimli filmde bir yardımcı oyuncu rolünü oynadı. Bağımsız film, Ağustos 2005'te sinemalarda gösterime girdi, Simpson'ın oynadığı sahneler 2004'ün sonlarında çekilmişti. Eleştirmenler Simpson'ın performansını gayet iyi bulmuştular, ama filmi hiç beğenmemiştiler. Film ilk haftasında bile ilk 10a giremedi ve sadece 676,048$ hasılat yaptı. Film Türkiye'de de D Productions tarafından Beni Keşfet ismiyle 28.07.2006'da vizyona sokuldu.

Simpson'ın ikinci albümü I Am Me, 18 Ekim 2005'te ABD'de piyasaya çıktı. Albüme 80lerden bir hava katmak istiyordu, ilk albümün tersine konusu ilişkilerinden çok kendisine odaklanmıştı. I Am Me, Amerika'da 220.000 satarak ilk haftasında birinci oldu, ama satışlar hızla düştü. Ocak 2006'da henüz bir milyon satışa ulaşamamıştı. Ilk single Boyfriend, Bilboard Hot 100'de ilk 20e girdi ve pek çok yerde aynı başarıya ulaştı. İkinci single, L.O.V.E. ABD top 40'ına girdi, başarısı Missy Elliot'la yaptığı R&B/HipHop remixi ile desteklendi. MTV'de sıkça gösterilen video, o güne kadar TRL'de Ashlee'nin gösterdiği en büyük başarıyı gösterdi.

Nisan 2006'da MTV Avustralya Müzik Ödüllerini sundu. Hemen ardından da burnundan estetik ameliyat oldu ve aynı ödül töreninde En İyi Kadın Şarkıcı ve En İyi Pop Videosu (Boyfriend) ödüllerini kazandı. Bununla birlikte Nisan'da I Am Me albümü 1 milyon satışa ulaşarak Platinyum ödülü kazandı.

I Am Me'nin içinde ekstra Jaded Era coverı Invisible'ın bulunduğu yeni bir versiyonu piyasaya sunulacağı açıklanmıştı, fakat bu gerçekleşmedi. Bu albüm piyasaya çıkmamış olsa da, albümden ilk video Invisible 19 Haziran 2006'da yayınlandı.Daha sonra Invisible tek başına single olarak yayınlandı.

Simpson, Temmuz'da biten turnesinin ardından, üçüncü albüm için henüz erken olduğunu ve kendisine yaratıcılık için zaman tanıyıp bu sırada senaryoları gözden geçirip oyunculuk kariyerini geliştireceğini söyledi. Ardından 25 Eylül'de perdelerini açıp 28 Ekim'e kadar süren Chicago müzikalinin Londra'daki sahnelenişinde Roxie Hart rolünü oynadı ve eleştirmenlerden iyi not aldı.

2006 yılının Kasım'ında Simpson yapımcılarıyla görüşüp yeni albümü için çalışmalara başlayacağını duyurdu. Simpson ayrıca, daha önce Chicago müzikaline katılmış olan The Cure grubundan Robert Smith ile de çalışmak istediğini belirtti.

Yapımcı Ron Fair Aralık 2006'da Simpson'ın bir sonraki albümü için çalışmanın medya baskısı ve ön yargılardan dolayı fazlasıyla hassas bir iş olduğunu, fakat Geffen Records'un bunu aşmak için ona yardım edeceğini çünkü "onun duyulmayı ve yeni bir şansı hakkettiğini" söyledi.

1 Şubat 2007'de MTV'de yayınlanan TRL programında Tom Petty, Pharrell Williams, Linda Perry, India Arie ve Will.I.Am gibi isimlerin Simpson'a üçüncü albümde yardım edecekleri açıklandı. Albümün Ekim 2007'de piyasaya çıkması bekleniyor.

Simpson kızkardeşinden oldukça farklı bir imajı benimsemişti. Daha önceden Jessica gibi sarı olan saçlarını, MTV'deki reality show'u esnasında siyaha boyatmıştı, ama bir senelik bu süreçten sonra 2005'te saçları asıl rengi olan sarıya geri döndü. Ayrıca Simpson'ın şarkıları kardeşinden farklı olarak rock elementlerine dayalı, zaten çoğunlukla "punk"-tarzı, kimi zaman üzerinde grup isimleri olan t-shirtlerle görülebilmekte. El ve ayak tırnakları tipik siyah oje ile boyalı ve üç tane dövmesi var: bir bileğinde yıldız, ayakbileğinde iki kiraz ve diğer bileğinde "love" yazısı. 
Görünüşünde sık sık değişiklikler yapmaktadır ve artık daha "şık" görünüşler seçse de bir yandan konserlerinde hala "punk" tarzını korumaktadır.

Vokalleri, müzik tarzına uygun olarak "raspa" veya "gırtlaktan" olarak tarif edilebilir ki bu kardeşinin tarzına çok uzaktır.

Kardeşi ile birlikte ünlü moda eleştirmeni Mr.Blackwell'in hazırladığı listede 2004 senesinin en kötü giyinen ünlüleri seçilmişlerdir. Blackwell "o ikisi zevksizliğin genetik olduğunu kanıtladılar" diye yazmıştır.

Seks yaşamını konuşmayı reddetmektedir, zira bu konunun "süper-kişisel" olduğunu söylemektedir. Aktör Josh Henderson ile ilişkisi iki sene sürmüştür ve Ashlee Simpson Show'un ilk bölümünde bu ilişki sona ermiştir. Kısa süre sonra şarkıcı Ryan Cabrera ile birlikte olan Simpson, aynı zamanda onun "On the Way Down" isimli videosunda da oynamıştır. İkisinin 2004 Ağustos'unda yoğun programları sebebi ile ayrıldıkları rapor edilmiştir; Simpson hala arkadaş olduklarını söylemektedir, fakat söylentiler Ashlee'nin Ryan'ın The Veronicas üyesi Lisa Origliasso ile olmasından hoşnut olmadığından bahsetmektedir.

2005'te, Simpson'ın Lindsay Lohan'dan erkek arkadaşı oyuncu Wilmer Valderrama'yı çaldığı ve Ashlee'nin şarkısı Boyfriend'in de bu durumla ilgili olduğu söylentisi ortaya atılmıştı, onun konuyla ilişkin açıklaması ise şarkının "her kızın mutlaka birilerinin onun sevgilisini çaldığını düşünmesi ve bu durumun son derece komik olduğu"yla ilgili olduğuydu. Valderrama ise bir radyo programında, Ashlee ile yattığını ama Lindsay'i terk etmesinin onunla ilgisi olmadığını söylemiştir.

2005 kasımında, Simpson Toronto,Kanada'da bir McDonald's restoranında sarhoş görüntülenmiştir ve videoda bir çalışanla kavga etmekte ve bir müşteriye -ayağını öpmediği için- imzalı fotoğraf vermeyi reddetmektedir, daha sonra Elle dergisine yaptığı açıklamada o akşam "kafasının güzel" olduğunu ve müşterinin önce ona hakaret ettiğini sonra kim olduğunu anlayınca da imzalı fotoğraf istediğini anlatmıştır. Bu olaydan sonra kendisini "daha büyümüş-olgunlaşmış" hissettiğini söylemiştir.

Şubat 2006'da MTV TRL ödüllerinde Simpson'a, kariyerindeki yükseliş ve düşüşlere ve tüm bunlara rağmen listelerde 1 numara olabilen albümler yapabilmesine övgü olarak "Bounce-back" artist (geri-sıçrama) ödülü verilmiştir.

Nisan 2006'da magazin dergileri ve blogları; bir burun operasyonu geçirdiğine dair haberler yayınlamışlardır. Kendisine sorulduğundaysa bunları ne doğrulamış ne de yalanlamıştır.
Haziran 2006'da Simpson'a Playboy dergisi çıplak poz vermesi karşılığında 4 milyon $ teklif etmiştir, fakat Simpson bu teklifi reddetmiştir.

Gitaristi olan Braxton Olita ile süren 1,5 yıllık beraberliklerinin ardından Eylül 2006 başlarında, Olita'nın kendisine imajında yaptığı değişiklikler nedeniyle yönelttiği ağır eleştiriler nedeniyle çift ayrılmıştır. 2006 yılının son aylarından beri Fall Out Boy grubunun basçısı Pete Wentz ile birlikte olan Ashlee Simpson 9 Nisan 2008'de nişanlanmış ve hemen ardından 17 Mayıs 2008 tarihinde evlenmiştir. Acele evlilik kararı çocuk söylentilerine yol açmış fakat ikili bunu her ortamda yalanmıştır. Fakat evliliklerin üzerinden 11 gün sonra Pete Wentz internet sitesinde ilk bebekler