I 2003 gikk Løvseth ut av kompaniskapet med Lunde og etablerte ny praksis Løvseth+Partners. Fra 2005 til 2020 var han leder for arkitekturrådet for Nasjonale turistveger i Statens vegvesen. Løvseths viktigste prosjekter i Løvseth + Partner er boligprosjektene Kværnertoppen, Arneberg hage, Borgen på Sinsen, Nedre Bleiker gård og Jomfruhagen. Andre prosjekter er fem trebroer på E6 i Eidsvoll kommune, Kolomoen bro samt rasteplasser på Strandlykkja ved E6 mot Mjøsa.