Anfossi studerte fiolin ved Napolis Loreto-konservatorium fra 1744 til 1752 og spilte deretter fiolin i et operaorkester i omtrent ti år. Seinere studerte han komposisjon hos Sacchini og Piccini.