Дом 104 по набережной реки Мойки, известный также как «дом А. И. Мусина-Пушкина», создавался на протяжении XVIII и XIX веков и принял свой нынешний вид в 1848 году.
 Первым известным владельцем участка был видный деятель правительства Анны Иоановны обер-прокурор Сената действительный статский советник Анисим Семёнович Маслов. С 1735 г. участком владел Франц Володимерович Гарднер — купец и содержатель канатной фабрики на Выборгской стороне. В сентябре 1755 г. дом с участком был приобретён крупным металлопромышленником, владельцем Нижне-Тагильских заводов меценатом Никитой Акинфиевичем Демидовым у вдовы Гарднера, которому двор принадлежал почти 30 лет до 1782 г.. В 1782 г. Демидов продал дом Г. А. Потёмкину, который его тут же заложил Алексею Ивановичу Мусину-Пушкину. В 1784 «по просроченной закладной от Его Светлости ген.-фельдмаршала кн. Григория Александровича Потемкина» двор в собственность получил А. И. Мусин-Пушкин, который являлся владельцем усадьбы до 1798 г..
 Следующим хозяином участка со всеми строениями и садом стал купец М. А. Кусовников. По табели 1804 г. участок этот значился в 4-й Адмиралтейской части I квартала под № 46 и оценивался в 50 000 рублей. По табели 1822 г. имением владеет Е. В. Кусовникова, и оно оценено в 65 000 рублей. На плане Шуберта 1828 г. на участке виден прежний дом, несколько изменивший форму за счет пристроек, флигель на Мойке и строение вдоль левого края участка (если смотреть с Мойки), которое тянется почти до конца, вплотную примыкая к постройкам Литовского замка. Два параллельных друг другу строения идут вдоль Офицерской улицы, на месте современного д. 31. К 1828 г. эта часть имения отошла под Провиантский департамент Военного министерства, владевшего им до 1842 г. В 1834 г. на основании духовного завещания после умершей Е. В. Кусовниковой введена во владение имением её внучка Елена Петровна Варенцова. В этом году была введена нумерация по улицам, и участок получил № 95 по Мойке.
 В 1842 г. Е. П. Варенцова (Трувеллер) продает С.-Петербургской Думе часть земли «под улицу, предположенную для отделения тюремного здания от обывательских строений». В 1850 г. Е. П. Трувеллер обратилась с просьбой на имя Санкт-Петербургского военного генерал-губернатора, чтобы переулок между её домом и Литовским замком был назван Замковым. Но по высочайшему повелению он был назван Тюремным.
 В 1852 г. дом был продан надворному советнику барону Александру Борисовичу Фитингофу (1799—1875), внуку знаменитой княгини Ливен, Шарлотты Карловны фон Гаугребен (1743-1828), воспитательницы детей императора Павла I, которые называли ее «бабушкой». В 1870 г. Фитингоф  подарил имение дочерям Елизавете и Екатерине. В 1882 г. после череды внутрисемейных сделок, весь участок (теперь он имел № 102 по Мойке) отошёл барону Рихарду Павловичу Фитингофу (1822—1894), женатому на своей кузине Екатерине Шарлотте (1829-1890), дочери А. Б. Фитингофа с 1853 г.
 В конце 1880-х гг. в связи с урегулированием улиц (их названий и нумераций домов) участок получил по Мойке новый № 104. В 1894 г. после смерти отца дом с участком достался трём дочерям Р. П. Фитингофа, а с 1897 г.  «перешло в единственное владение» одной из дочерей Р. П. Фитингофа — Александры-Елизаветы Рихардовны фон Эйнзидель (1860—1940), жене майора Королевско-Саксонской службы Конрада Детлефа фон Эйнзидель (1843—1921). В 1913 г. она продала весь дом с участком Совету училищ Реформатских церквей. В 1918 г. дома по Мойке были конфискованы «в пользу Комиссариата Городских хозяйств за невзнос владельцами их городских сборов за 1917 и 1918 гг.».
 Впервые вид усадьбы с домом отразил план Сент-Илера: «…в глубине участка изображен деревянный на каменном фундаменте дом с двумя ризалитами со стороны сада. В правой части участка с основным домом соединен переходом одноэтажный каменный флигель, выходящий на набережную р. Мойки. За домом расположен сад с беседкой, павильонами и прудом…». В центре главного фасада виден сильно выступающий ризалит с разорванным фронтоном. В центре заднего фасада находится симметричная четырёхмаршевая лестница с балюстрадой. Перед домом располагается парадный двор, отделённый от набережной Мойки пышной красивой оградой. Учёный и мемуарист Якоб Штелин описывает в своих Записках об изящных искусствах в России необычный портик из чугуна, который Никита Акинфиевич, владевший железоделательными заводами, «устроил при своём доме на Мойке» между обоими въездами во двор со стороны улицы.
 В 1773 г. Демидов сдал дом чрезвычайному посланнику Его Величества короля Великобритании, заключив контракт, в котором содержится описание дома: «… состоящий на Адмиралтейской части по Мойке реке против лесных каменных магазейнов, в котором среди Двора хоромы деревянные со всеми мебелями, да на дворе кухня и для людей моих флигеля по левой стороне от дому к Мойке, два погреба — один ледник, а другой зимний, конюшня о десяти стойлах и каретный сарай,… при этом доме есть сад с разными плодовитыми фруктами…».
 План 1798 г. показывает, что Мусин-Пушкин почти не занимался перестройками. Немного изменилась форма одного из углов главного дома, а переход во флигель, выходящий на Мойку, и сам флигель остались неизменными.
 С помощью чертежей из фонда Городской управы можно проследить дальнейшую историю перестроек усадьбы. Главный дом сохранялся до 1913 г., когда на его месте оказалась правая часть нового Здания училища и Совета реформатских церквей (архитектор А. А. Гимпель). Сейчас в нём находится Санкт-Петербургское музыкальное училище им. Римского-Корсакова (пер. Матвеева, 1). Сад и хозяйственные постройки не сохранились.
 Первые серьёзные изменения облика усадьбы связаны с именами Елены Петровны Трувеллер, её мужа инженер-капитана Роберта Ивановича и его брата отставного инженер-майора Василия Ивановича (известен строительством в Петергофе: два каменных дома и бани, позже купальню на берегу Ольгиного пруда, а затем и деревянное здание гостиницы «Самсон», шлюзы Бумажной фабрики, лагерь военно-учебных заведений, составлял карты города, прорезал новые улицы, участвовал в сооружении Никольского домика). В 1842 г. на углу Набережной Мойки и вновь проложенного переулка построен новый каменный дом в три этажа, 9 осей по Мойке и 7 по переулку в стиле классицизма. Одновременно строится ещё один дом в 8 осей более скромной отделки, вплотную примыкающий к трёхэтажному дому со стороны переулка.
 В 1847 году Трувеллеры решают надстроить Г-образный флигель старого дома, выходящий на красную линии Мойки двумя этажам. В 1847 г. профессор Академии Художеств архитектор Р. А. Желязевич (1810 — 1874), автор проектов Пассажа, Павловского женского сиротского института, участник сооружения Николаевского (ныне Московского) вокзала и т.д. последовательно создаёт два проекта возведения с противоположной стороны участка по Мойке нового каменного дома в три этажа с лицевого фасада и четыре этажа с дворового. Второй проект создаётся при участии двух других архитекторов - профессора Академии Художеств Н. Е. Ефимова, автора проектов здания Городской думы, Знаменской площади, Воскресенского собора Новодевичьего монастыря, руководителя строительства Нового Эрмитажа и пр. и недавно приступившего (с 1844 г.) к архитекторской практике Н. П. Гребёнки. При этом каменный Г-образный одноэтажный флигель XVIII века Н. А. Демидова - А. И. Мусина-Пушкина, выходивший лицевым фасадом на набережную Мойки, включается в новый дом частью его первого этажа. Одновременно с левой стороны к флигелю пристраивается новая часть здания, симметрично повторяющая его структуру. Таким образом, флигель оказывается целиком включённым в новый дом, лишь изменив стилистику декора окон с барочной на неоренесанссную. Дворовая часть флигеля также надстраивается двумя этажами, не теряя при этом связи со старым деревянным домом на каменных подвалах. Барочная отделка окон заднего фасада флигеля не подверглась изменениям и сохранилась в настоящее время. Двухэтажная каменная прачечная, построенная в 18 веке, соединяется со старым домом с одной стороны и с лицевым флигелем с другой (здание прачечной также сохранилось).
 В 1848 г. при участии архитектора Р. Б. Бернгарда достраивается уже существующий дом в стиле классицизма, построенный братьями Трувеллерами в 1836 г.,  в единый фасад с двумя домами Желязевича-Ефимова-Гребёнки (в 3 этажа с лицевого и 4 этажа с дворового фасадов). Таким образом формируется окончательный облик дома, неизменный в наши дни.
 Несколько лет в доме на Мойке у своего дяди жил Франц Яковлевич Гарднер, будущий основатель фарфоровой фабрики в Вербилках. В переписи дворов Адмиралтейского острова в 1737 г. упоминается «за речкой Мьей» двор «купца иноземца агличанина Франца Гарднера, живёт он 40 лет… У него племянник Франц Гарднер 27 лет».
 С 1782 по 1798 гг. в доме на Мойке проживал А. И. Мусин-Пушкин (17 лет). Здесь родились почти все его дети и было создано основное его детище — знаменитая коллекция древностей Российских. Здесь заседали члены «Кружка любителей отечественной истории», сформированного Мусиным-Пушкиным, базирующегося  на теоретических взглядах В. Н.  Татищева:  И. Н. Болтин и И. П. Елагин, историки-архивисты Н. Н. Бантыш-Каменский и А. Ф. Малиновский и многие другие. Они собирались для обсуждения исторических и лингвистических вопросов, и хозяин охотно разрешал пользоваться его материалами. С кружком был связан и Н. М. Карамзин. Главной целью кружка было сохранение и введение в общественный и научный оборот широкого круга древнейших источников по истории и культуре Российского государства. Благодаря Мусину-Пушкину «радение» о памятниках  прошлого впервые в России приобрело невиданные ранее масштабы, организованность и нацеленность на поиск разнообразного круга источников, включая материалы по истории XVIII века. Здесь были подготовлены к изданию «Правда Русская» Ярослава Мудрого, «Поучение» Владимира Мономаха, работа самого Мусина-Пушкина о местоположении Тмутараканского княжения, Лаврентьевская летопись и, наконец, именно здесь хранилась и готовилась к печати жемчужина его коллекции — знаменитое «Слово о полку Игореве», которое в первом издании 1800 г. называлось «Ироическая песнь о походе на половцов удельного князя Новагорода-Северскаго Игоря Святославича, писанная старинным русским языком в исходе XII столетия, с переложением на употребляемое ныне наречие…»
 На годы проживания А. И. Мусина-Пушкина в Санкт-Петербурге в доме на Мойке приходится период наивысшего расцвета его государственной, общественной и собирательской деятельности. Он член Российской академии (с 1789 г.), президент Академии художеств (1794—1797), обер-прокурор Святейшего Синода (1791—1797), действительный статский советник (1784), действительный тайный советник (1793), Управляющий корпусом чужестранных единоверцев (1789). Ему покровительствует Екатерина II. Президентство в Академии Художеств и коллекционирование произведений искусства привлекало в дом Мусина-Пушкина его коллег по Академии. Известно, что комитет Российской Академии по присуждению золотых медалей, председателем которого являлся Мусин-Пушкин, обычно заседал в его доме. По мнению Е. И. Красновой, лауреата анциферовской премии, автора многих научных исторических открытий, кабинет и богатейшая коллекция А. И. Мусина-Пушкина располагались в каменном флигеле. Эту точку зрения поддерживает и доктор исторических наук В. С. Соболев, директор РГАВМФ и доктор исторических наук Е. В. Анисимов, ведущий научный сотрудник Санкт-петербургского Института РАН: "…именно во флигеле, выходящем на набережную р. Мойки, находилась его коллекция, в том числе «Слово о полку Игореве».. Флигель был выделен под рабочее пространство Мусина-Пушкина, тогда как в главном доме расположилась многочисленная семья. К 1793 г. Мусин-Пушкин располагал более чем 1700 рукописями, богатейшим собранием книжных раритетов.
 В 1840-х гг. в доме на Мойке содержала танц-класс знаменитая кавалер-девица, содержательница «Красного кабачка» Луиза Кессених. Участница войны с Наполеоном 1812—1815 гг. в чине прусского уланского вахмистра, мать двоих детей, скрывшая свой пол, Луиза Кессених, во время одного из походов захватила в плен офицера и шесть солдат противника. За этот подвиг она была награждена Железным крестом. С 1817 года Луиза проживала в Санкт-Петербурге и занималась частной предпринимательской деятельностью.
 С середины 1870 по 1906 гг. в доме проживал основоположник русской венерологии - В. М. Тарновский.  Здесь же располагалась его домашняя амбулатория. С 1868 г. преподаватель Санкт-Петербургской медико-хирургической академии, с 1872 г. профессор, в 1894-97 гг. заведующий кафедрой дерматологии и сифилидологии. В 1867 г. им был издан «Атлас к руководству для распознавания венерических болезней женщин и детей» с 15 рисунками, сделанными с натуры художником В. Рейнгардом. По его проекту в 1868 г. было организовано «Cуворовское училище для повивальных бабок» при Калинкинской больнице. В нем В. М. Тарновский в качестве доцента вел в течение 25 лет курс сифилидологии. В. М. Тарновский организовал первое в мире национальное венерологическое общество, утвержденное на государственном уровне. 20 октября 1885 года, в своей квартире № 4 на набережной реки Мойки 104, напротив арки Новой Голландии, Тарновский провел первое его заседание. Через короткий промежуток времени Русское сифилидологическое и дерматологическое Общество во главе со своим председателем Тарновским приобрело высокий авторитет среди врачей и гражданских властей и впоследствии стало носить имя своего основателя (с 1932 года).  
 
Примеру Петербурга последовали врачи по всей России и по всему миру. Важность и необходимость идеи Тарновского доказал Международный конгресс врачей в Москве (1897 г.), который стал апофеозом русской медицины, собравший 8200 участников, из них 5700 иностранных делегатов. В течение 8 дней было сделано более 1300 докладов. На открытии конгресса в Большом театре от ученых Санкт-Петербурга выступил В. М. Тарновский. Многолетние исследования и наблюдения, позволили В. М. Тарновскому  опровергнуть утверждения ряда крупнейших зарубежных сифилидологов второй половины XIX века о невозможности излечения сифилиса, он доказал возможность излечения сифилиса препаратами ртути и йода в любом периоде. В 1887 г. В. М. Тарновский выделил крупную сумму собственных сбережений на строительство клиники кожных болезней Женского медицинского института (Санкт-Петербургский медицинский университет им. И. П. Павлова). В 1920 г. на базе Калинкинской больницы были созданы центральная серологическая лаборатория, лаборатория по экспериментальному изучению сифилиса, а позднее — крупнейшая в стране микологическая лаборатория. В 1922 г. Калинкинской больнице было присвоено имя В. М. Тарновского. В. М. Тарновский - автор важных открытий в области венерологии, а также трудов в области сексологии, сексопатологии, морально-юридических аспектов сексуальности. 
 В. М. Тарновский был активным поборником высшего женского медицинского образования в России. Первая в России женщина-сифилидолог З.  Я. Ельцина (1854-1927) была его ученицей и ассистенткой. С 1882 г. З. Я. Ельцина работала экстерном в Калинкинской больнице, в 1885/86 г. была зачислена ассистенткой кафедры сифилидологии на Высших женских курсах, а с 1887 г. до 1906 г. вела прием больных в домашней амбулатории В. М. Тарновского на наб. р. Мойки, 104. Вместе с В. М. Тарновским в доме на Мойке проживала его супруга Тарновская (Козлова) Прасковья Николаевна (1848–1910), одна из первых врачей-женщин, выдающийся антрополог и невропатолог, автор монографий «Женщины-воровки» (СПб.,1891) и «Женщины-убийцы» (СПб., 1902), антропологическое исследование, с 163 рисунками и 8 антропометрическими таблицами. Главные выводы этих трудов заключались в том, что у большинства женщин, совершивших преступления, присутствуют признаки, свидетельствующие об их отклонении от нормы «как в физическом, так и в психическом отношении», и в том, что причина подобных отклонений заключалась в неблагоприятной наследственности.  Труды П. Н. Тарновской высоко ценились знаменитым российским юристом, судьей, государственным и общественным деятелем А. Ф. Кони.
 С 1904 по 1912 в доме проживал русский путешественник, географ и зоолог и лепидоптеролог, исследователь Западного Китая, Памира, Тянь-Шаня (1884—1890), Западной Монголии, Тувы и Дальнего Востока (1903—1914), открывший Турфанскую впадину Григо́рий Ефи́мович Грумм-Гржима́йло (1860, Санкт-Петербург — 1936, Ленинград). Его основные труды посвящены физической, политической, исторической географии и этнографии Центральной Азии, а также её энтомологии. Именем Грумм-Гржимайло названы перевал на хребте Сихотэ-Алинь, один из открытых им ледников на Памире и ледник на массиве Богдо-Ула.
 С 1912 по 1917 гг. в этом доме жила семья вдовы камергера Любови Валерьяновны Головиной, родной сестры графини Гогенфельзен, княгини Ольги Палей, морганатической супруги младшего дядюшки Императора Николая Второго, великого князя Павла Александровича Романова. Дочь её, Мария Евгеньевна (Муня), входила в круг лиц, близких к Григорию Распутину. Во время дознания по делу о его убийстве она показала, что Г. Распутин и князь Феликс Юсупов познакомились 5 лет назад в их квартире на Зимней канавке, 6 (где тогда Головины жили), а в 1916 г. они встретились вновь в их квартире на Мойке 104. После этого Юсупов под предлогом боли в груди установил более тесный контакт с Распутиным, готовясь к его убийству. С Головиными в доме на Мойке совместно проживала Ольга Владимировна Лохтина, жена действительного статского советника, которая покинула дом в 1910 г. из-за непримиримой позиции её семьи к Распутину. Лохтина была почитательницей Распутина с 1905 года, когда тот её излечил от опасной болезни. Лохтина явилась редактором книги Г. Е. Распутина «Благочестивые размышления», вышедшей в 1912 г. в Петербурге и выполняла многие секретарские обязанности для него. Из-за болезненного психического состояния редко выходила из дома. 
 В доме на Мойке 104 проживал Виктор Викторович Соболев (1915—1999), российский и советский астрофизик, академик АН СССР (1981), создатель крупной научной школы, известной в мире как Ленинградская школа теоретической астрофизики, автор известного Курса теоретической астрофизики, Герой Социалистического Труда (1985), кавалер ордена Ленина, двух орденов Трудового Красного Знамени. По суммарному вкладу, внесённому в аналитическую теорию переноса излучения, В. В. Соболев и его школа — вне конкуренции в мировой астрофизике. Соболев не только внес фундаментальный вклад в каждый из основных разделов этой теории, но и стоял у истоков пяти из них. В. В. Соболев преподавал и заведовал кафедрой астрофизики ЛГУ, его монография «Движущиеся оболочки звезд» (Издательство ЛГУ, 113 стр.) стала классикой теоретической астрофизики. Одновременно Соболев работал директором Астрономической обсерватории ЛГУ на общественных началах, затем заведующим Отделением астрономии математико-механического факультета ЛГУ. Благодаря его усилиям удалось преобразовать АО ЛГУ в Астрономический институт. Теперь Астрономический институт Санкт-Петербургского университета носит имя В. В. Соболева.
 До 2001 года дом 104 по наб. Мойки состоял на учёте в Комитете по государственному контролю, использованию и охране памятников истории и культуры правительства Санкт-Петербурга по «Списку вновь выявленных объектов, представляющих историческую, научную, художественную или иную культурную ценность» и находился в Объединённой охранной зоне центральных районов Санкт-Петербурга.. В 2001 году при корректировке списка вновь выявленных объектов, представляющих историческую, научную, художественную или иную культурную ценность, приказом председателя КГИОП № 15 от 20.02.2001 г. дом был исключен из списка. 
 В 2015 году в связи с проведением в РФ Года литературы в КГИОП было подано заявление о включении здания по наб. р. Мойки 104, обладающего признаками объекта культурного наследия, в единый государственный реестр объектов культурного наследия (памятников истории и культуры) народов Российской Федерации  и об установке на доме мемориальной доски. Заявление о включении объекта в государственный реестр памятников культуры поддержали ведущие профильные учреждения и организации Санкт-Петербурга, среди них Институт Русской литературы (Пушкинский дом) РАН, Российская национальная библиотека , Санкт-Петербургский Союз художников , Санкт-Петербургский Союз архитекторов , Ассоциация искусствоведов и художественных критиков Санкт-Петербурга. 
 Распоряжением КГИОП № 10-348 от 11.08.2015 г. заявка была отклонена по причине "отсутствия у объекта историко-культурной ценности". Отказ КГИОП  во включении здания в перечень выявленных объектов культурного наследия был обжалован в суде. В октябре 2016 г. в КГИОП была подана повторная заявка на включение здания в реестр памятников культуры, которая также было отклонена распоряжением КГИОП №136-р от 27.03.2017 г.  Общественность и градозащитное движение связывают отказ КГИОП с лоббированием незаконной застройки соседнего участка элитным домом «Арт Вью Хаус» по наб. реки Мойки 102 на месте снесённых застройщиком остатков башни и фундаментов северного крыла знаменитого Литовского замка.
 Дом во времена владения им А.И. Мусиным-Пушкиным изображён на акварели его коллегой по Академии Художеств Карлом Фридрихом Кнаппе. Сразу за Литовским замком видна массивная ограда, а за ней в глубине участка фрагмент лицевого фасада старинного дома, который был приобретён Мусиным-Пушкиным у Демидова.
 
Описание быта семьи Головиных в доме на Мойке (из записок В. А. Жуковской о Г. Распутине):
 
В 1984 году режиссёром Виталием Мельниковым по мотивам ранних рассказов Ф. М. Достоевского снят полнометражный цветной телевизионный художественный фильм «Чужая жена и муж под кроватью», поставленный на Киностудии «Ленфильм». Съёмки осуществлены на набережной Мойки на фоне дома 104.
 
Изображения дома встречаются также  в произведениях А. Н. Бенуа и А. П. Остроумовой-Лебедевой.