04年，曾任职香港工务局的英国土木工程师罗伦斯·杰斯（Lawrence Gibbs）看中了当地的优美风景，购入该地皮作自住用，并亲自设计和兴建该住宅。1929年，了望台被售予Herbert Austin Rogers。1933年了望台再被售予助理律政司傅瑞宪（John Alexander Fraser），日治期间，傅瑞宪被日军囚禁并死于赤柱拘留营内，而了望台则被日军所征用作严刑拷问犯人之用。1947年，了望台由政府购入，改为政府官员的官邸。1996年，政府将了望台租给爱滋宁养服务协会作末期爱滋病患者疗养所。