1942年至1946年停办，至1947年恢复。随着香港迅速发展，维多利亚港的污染日趋严重，加上受到尖沙咀火车站拆卸工程影响，至1978年举办第66届后停止举办。
复办.2000年代，随着香港政府的《净化海港计划》渐见成效，香港业余游泳总会于2010年10月末期向香港政府申请复办维港渡海泳，其后获得批准，并由新世界发展赞助。2011年维港渡海泳于10月16日上午9时举行，赛道以鲤鱼门三家村公众码头为起点，终点为鲗鱼涌公园公众码头，全程1.8公里，比较过往为长。本届赛事约978人参