Ilsted volgde aanvankelijk een technische opleiding, maar voltooide deze niet. In 1878 ging hij naar de Koninklijke Deense Kunstacademie en wijdde zich sindsdien aan de kunst. Hij exposeerde voor het eerst in 1883 en maakte in de periode daarna uitgebreide reizen naar het Nabije Oosten en later ook naar Frankrijk, Groot-Brittannië, België en Nederland. In 1889 stelde hij werk tentoon op de wereldtentoonstelling te Parijs. Samen met zijn zwager Vilhelm Hammershøi, Carl Holsøe en anderen vormde hij in de jaren 1890 het progressieve genootschap “De vrije expositie”.