Privat gikk det ikke like bra, han ble offer for en rekke personlige tragedier. Allerede i unge år ble han smittet av syfilis. Kjærlighetslivet ble ulykkelig, og kanskje verst av alt: hans mesterverk (som han malte i flere versjoner på 1880-tallet) ble refusert av Nationalmuseum. Maleriet ble kjøpt av en forarget prins Eugen, , som ikke bare selv var kunstner, men også hjalp mange samtidige kunstnere økonomisk ved å kjøpe inn deres verk til sitt hjem på Waldemarsudde. Prinsen lot (1884) få en fast plassering, og maleriet har siden aldri forlatt Waldemarsudde. Faren døde da Josephson var 10 år, søsteren Gelly døde da han var 17, og moren døde da han var 30 år, noe som gikk sterkt inn på ham.