Foreldre var skreddermester og buntmaker Jørgen Fredrik Møldrup Rasmussen og Anne Elisabeth Ommundsen. Sin første kunstnerutdanning fikk Rasmussen i Bergen, som elev av Anders Askevold og Johan Ludvig Losting. I 1863 var han elev av Frederik Rohde i København. Fra 1864 til 1867 studerte han ved Kunstakademie Düsseldorf under Oswald Achenbach, og her ble han også sterkt påvirket av Hans Gude. Som maler tilhører Rasmussen Düsseldorfskolen.