В 1816 году сразу после свадьбы в доме проживали Анна Павловна и будущий нидерландский король Виллем II. В 1819 году в здание вселился художник Джордж Доу, работавший над полотнами Военной галереи в смежном с Лоджиями Рафаэля квадратном Мраморном зале. В 1826 году на верхнем этаже поселилась фрейлина Александра Осиповна Россет, прожившая там 6 лет до замужества с дипломатом Смирновым. В 1827 году, вернувшись из путешествия по Европе, 4 комнаты на верхнем этаже Шепелевского дома занял поэт и наставник наследника престола Василий Жуковский. В его квартире часто собиралась культурная элита столицы, Пушкин впервые читал в ней «Полтаву» и «Бориса Годунова», Гоголь — «Ревизора». Пожар в Зимнем дворце 1837 года не затронул Шепелевский дом, но Николай I вскоре начал переговоры с Лео фон Кленцем о строительстве на его месте Нового Эрмитажа. Летом 1839 года Жуковский выехал из здания, и вскоре оно было снесено.