21. august 1829 havde han ægtet Johanne Marie Elisabeth Gebauer (7. december 1806 – 25. december 1830), datter af kunstmaler Christian David Gebauer, og efter hendes død ægtede han 8. oktober 1836 Maren Nicoline Randbøll (1. februar 1807 – 15. januar 1871), datter af mel- og grynhandler Niels Christensen Randbøll, hvis forretning han en kort tid fortsatte ved siden af sin virksomhed som instrumentmager. Han trådte imidlertid nu i forbindelse med pianofortefabrikant C.C. Hornung i Slagelse, og forholdet udviklede sig således, at da Hornung, der snart efter flyttede til København, i 1851 trak sig tilbage, blev det Møller, der overtog hans store virksomhed, som han lykkelig førte videre under firmaet Hornung &amp; Møller. Han var allerede 1850 blevet hofpianoforteinstrumentmager, og han deltog med held i udstillingen 1852 i København og på verdensudstillingen 1855 i Paris.