設計者・施工者ともに不明であるが、同志社の教員で医師・宣教師でもあったW. テイラーの助言を得ながら、新島襄自身が設計したとも伝えられている。洋風住宅としては京都に現存する木造最古のものである。建物は木造2階建て。外観にはコロニアルスタイルを取り入れており、三方にべランダをめぐらせ、窓には鎧戸をつけている。一方で造りの基本は和風寄棟住宅であり、壁は柱を露出される真壁造り、間取りは田の字型という、日本的な構造を採用している。欄間や箱階段が作られているなど、日本的要素も取り入れられている。冬に備えて暖炉をしつらえ、当時としては画期的なセントラルヒーティングを取り入れたほか、夏を快適に過ごすために床を高くして風通しを良くする工夫をし、また庇を深くしている。建築当初は、全室が板張り（フローリング）で作られた。大正期はじめ、八重は1階の洋間を和室（茶室「寂中庵」）に改修している。木製の腰掛式トイレを設けており、日本における初期の洋式トイレである。
和洋折衷式の母屋と、付属屋からなる。現在は新島会館（同志社校友会の会館）が建つ隣接地は、もともと新島邸の庭で、家庭菜園などが設けてあった。
敷地は、1875年11月29日に同志社英学校が開校した際に仮校舎として借り受けた、高松保実の邸宅跡である。同志社英学校は翌1876年に、山本覚馬が所有していた旧薩摩藩邸跡地（現在の同志社大学今出川キャンパス）に移転。この間の1876年1月3日に新島襄は八重夫人（山本覚馬の妹）と結婚している。この時期、新島は借家住まいをしていたが、友人J.M.シアーズから礼拝堂と自宅建設のための寄付を受けた。新島は英学校を置いた土地を高松から買い取って自宅を建設し、1878年9月7日に竣工した。この家屋は、新島夫妻の私邸であるとともに、応接室が教室や礼拝堂として使われたり、書斎を同志社の学生に開放し書籍を貸し出したりと、さまざまに使われた。1890年に新島襄が死去したのち、八重夫人は1907年に同志社に寄付。この家で1932年に没するまで生活した。1985年、調度・家具類を含め、京都市指定有形文化財に指定。1990年に全面解体修理が行われた。
ただ黄遵憲が当初文明開化に否定的だったのは、中華思想のみが原因だったわけではなく、彼が親しくしていた日本人にも同様な考えを持つ者が多く、それに影響されたのも一因である。一流の文化人で構成されていた公使団のもとには伊藤博文や榎本武揚、大山巌といった政府の要人や、あるいは宮島誠一郎 や 明六社（めいろくしゃ）同人の中村正直も訪れるなど、一時期公使館詣が流行したほどであったが、ごく親しくつきあったのは西欧化に批判的な漢学者たちであった。たとえば大河内輝声（おうごうちてるな、源桂閣と号す）や石川英（鴻斎、石川丈山の九代目子孫）、岡鹿門（千仞）、重野安繹（成斎）、青山延寿（鉄槍、『大日本史』編纂に関わる）、亀谷行（省軒）、巌谷修（一六）といった人々が足繁く公使館を訪ねた。彼らは西欧文明に全くの無理解というわけではなかったが、少なくとも批判的であった人たちと言わねばならない。なおこのうち中村や重野ら幾人かはアジアの提携振興をめざす団体、興亜会に参加している。黄遵憲は日本語を話せなかったので、その意思疎通は漢文による筆談によって文化交流が図られた。当時の日本の知識人たちは、文の善し悪しは別として普通に漢文の読み書きができたため、これが可能であった。筆談は多岐にわたるが、漢学者たちは公使館を訪れるたびに詩文の批評・添削を請うたり、著作への序文を求めたりすることが多かった。黄遵憲の批評は率直で、やや手厳しかったようだ。しかしそれは悪意から瑕疵を指摘したのではなく、胸襟を開き真摯な態度で、見せられた詩文に臨んだからに他ならない。序文を寄せたものとしては、たとえば『日本文章規範』（石川英編）、『明治名家詩選』（村上佛山校閲・城井錦原修纂）などがある。漢学者のうち大河内輝声は特に関わりが深かった人である。彼は元高崎藩藩主であるが、数日に一度は公使館を訪れていた。その際の筆談記録は見つかったものだけで71冊（厚さ134cm）にものぼり、当時の日中交流を探る上で貴重な資料となっている。その大部分は大東文化大学 大河内文庫に所蔵されている。また『日本雑事詩』の初稿を保存したいと黄遵憲に求め、自宅に日本雑事詩最初稿塚を造ってそれを収めた。今その塚は野火止の平林寺に移築されている。しかしそうした人々とのつきあいが多くとも、日本で暮らしていれば次第に単なる同文同種で片づけられない異文化としての日本が顔をのぞかせてくる。たとえば貧しく質素であっても庭木を愛する素朴な庶民、客が訪ねくれば細やかな気配りをする妻女、そして積極的に海外のことを知ろうとする日本人の好奇心など、黄遵憲は日本の美点を素直に認め賞賛している。特に彼が愛した日本の風習は桜の花見であった。在日期間中、さきの漢学者たちと連れだって毎年欠かさず花見を行い、桜を織り込む詩文も残している。たとえば隅田川での花見の詩に「東皇第一に桜花を愛す」（東皇とは春の神）と詠み、その解説において「墨江の左右、数百樹有り、雪の如く霞の如く、錦の如く荼の如し。余一夕の月明かり、再びその地に遊べば、真に身を蓬莱の中に置くが如し」と述べている。実は日本人が桜の花見を非常に好むことを中国に広めたのは黄遵憲であった。