Muzeum vzniklo původně jako součást Moskevské univerzity a tvořilo tzv. Kabinet výtvarných umění a starožitností jako vědecko-umělecké pracoviště s cílem shromažďování a záchrany předmětů světového umění. Po Říjnové revoluci, když vyšly dekrety o evidenci a ochraně uměleckých památek, se sbírky významně rozrostly konfiskací soukromých sbírek a jejich umístěním do centrálních depozitářů. Dekret o zákazu vývozu uměleckých a historických památek do zahraničí, vydaný v září 1918, omezil vývoz cenného uměleckého dědictví. V závěru roku 1924 byly slavnostně otevřeny dva sály obrazové galerie s instalovanou výstavou ze shromážděných uměleckých cennosti a ze sbírek přenechaných jinými muzei, mezi nimi i např. Petrohradskou Ermitáží.