Tretjakov begynte å samle på kunst allerede som 24-åring (1856). Han kjøpte inn en del hollandsk kunst, men først og fremst arbeider av russiske kunstnere som Vasilij Perov, Ivan Kramskoj, Ilja Repin, Vasilij Surikov og Isaak Levitan. Hensikten med innkjøpene var i første rekke å opprette en samling som kunne danne grunnlaget for senere vekst til et museum med nasjonal kunst.