Karsten reiste tilbake til Paris og bodde her i flere år. Han lærte av de franske malerne Eugen Carrière (i 1901) og Henri Matisse (i 1910). Han var kjent for sine drikkevaner og for sitt temperament. Etter en krangel med dikteren Nils Collett Vogt var han midlertidig utvist fra kretsen av norske malere i Paris. Han besøkte museet Louvre og parafraserte Riberas maleri som forestiller gravleggelsen av Kristus. Frits Thaulow kjøpte maleriet. Det ble Karstens første viktige salg. Det ble gjensolgt til Nasjonalgalleriet i Oslo i 1909 etter Thaulows død. Karstens første separatutstilling ved Blomqvist i Kristiania i september og oktober 1904 mottok blandet kritikk i avisene. I 1905 besøkte han Edvard Munch ved Åsgårdstrand. Munch lagde et stort portrett av ham. Etter en natt med tung drikking, antagelig på midsommeraften, oppsto en krangel mellom Munch og Karsten. Munch lagde senere en etsning med hans versjon av hendelsen. Han besøkte Son flere ganger fra 1907.