Han forlot Kunstakademiet i 1878 sammen med L.A. Ring, begge uten at ta avgangseksamen. Ring brøt etter en lang tid igjennom som maler, Carlsen gjorde det ikke og endte som 24-årig på Københavns Fattiggård og kom senere til Odense. Han ble etter en tid hjemløs og forvillet, og trengte å taes vare på.