Johan Frederik Thaulow var søn af apoteker Harald Conrad Thaulow. Thaulow blev student 1866 og underkastede sig farmaceuteksamen 1870. Samme år rejste han til København, hvor han en tid vejlededes af C.V. Nielsen. Siden kom han til Kunstakademiet, hvor han dog ingen større fremgang gjorde. En mere frugtbringende undervisning nød han hos professor C.F. Sørensen og derefter hos Holger Drachmann. Sammen med ham besøgte han Skagen i 1872, og en tid boede de dør om dør på Phønix i København. Vinteren 1873—74 var Thaulow elev hos professor Hans Gude i Karlsruhe, hvis undervisning har været ham til gavn. Heller ikke her fandt han sig til rette, da han efterhånden kom til klarhed over modsætningen mellem lærerens og hans egen kunstneriske opfatning. Han holdt så helt op med al akademiundervisning og drog til Paris i 1878. Her udvikledes hans syn på kunst ved studiet af verdensudstillingen samme år og den naturalistiske retning, og her modnedes han til den foregangsmand, som han senere blev i norsk kunstliv.