Han studerte i Helsingfors fra 1874 til 1878, deretter Det russiske kunstakademiet i St. Petersburg fra 1883 til 1886, hvor hans onkel Mikhail Clodt var en av lærerne. Fra 1886 til 1888 var han elev av Tony Robert-Fleury ved Académie Julian. En av Järnefelts inspirasjonskilder var Jules Bastien-Lepages naturalistiske kunst.