Walton zaczynał swoją karierę na Uniwersytecie Arizony w barwach drużyny Wildcats. Do NBA został wybrany w drafcie 2003 przez Los Angeles Lakers z 32. numerem. Przez pierwsze trzy lata mecze zaczynał zazwyczaj na ławce rezerwowych, grając niewiele minut. Podczas Weekendu Gwiazd 2005, razem z Lisą Leslie i Magiciem Johnsonem, wystąpił w zawodach Shooting Stars. W sezonie 2006/07 został bardziej zauważany przez trenera i wystąpił w 60 meczach, wszystkie w pierwszej piątce. W ciągu tego sezonu znacznie poprawił statystyki, w tym zdobywając średnio 11,4 punktów, podczas gdy w poprzednich rozgrywkach zaledwie 5,0. Jego najlepszym występem w sezonie było spotkanie z Atlanta Hawks, podczas którego Walton zdobył 25 punktów, co jest jego rekordem kariery. Pięciokrotnie w ciągu sezonu uzyskał double-double.