История земельного участка под современным Домом фарфора прослеживается до 1725 года — тогда он принадлежал семье москвичей Зыбиных. владение выкупил директор императорских театров князь Пётр Тюфякин. На основе каменных палат, оставшихся от предыдущих владельцев, он построил для себя двухэтажный дом стоимостью примерно в 55 тысяч рублей, что являлось колоссальной суммой по меркам . Здание практически не пострадало при пожаре 1812 года, после Отечественной войны Тюфякин стал сдавать его в аренду: с 1813-го в доме располагался «Английский клуб», с 1815-го — пансион мадам . В 1830 году особняк выкупил историк, профессор Московского университета Михаил Погодин. О сделке он писал своему другу поэту Степану Шевырёву: