幕末の1862年には公卿・政治家の岩倉具視が一時湘南亭に隠棲した。