Treårskrigen avbrøt hans studier, bondesønnen «Ejler Rasmussen Østerby» var vernepliktig etter en eldre lov og måtte tjene to år som soldat. Deretter tok han opp studiene igjen, og fra 1849 begynte han å stille ut under navnet Rasmussen. Han arbeidet iherdig, og i 1858 fikk han Kunstakademiets reisestipend for to år. Stipendet som han hovedsakelig tilbrakte i Paris, Pyreneene og Sveits før han avsluttet med en tid i Nord-Frankrike og Belgia. I 1856 hadde han giftet seg med Eleonore Vinning fra Faaborg.