Roscher var gift to ganger. Hans første kone var Augusta Elisabeth Hubbauer (1795-1845) fra Baden. De fikk fire barn, Theodor Roscher, Adolf Friedrich Roscher, Ragnvald Robert Roscher, samt en datter som døde som liten. Som enkemann giftet han seg på nytt med Marthe Dorothea Berg fra Modum, og fikk også sammen med henne fire barn.