港协暨奥委会管理，其后港协暨奥委会的办公室也搬迁到奥运大楼。奥运大楼设有办公室、会议厅和演讲厅，香港合共有44个体育总会将办事处设在这建筑物。其后港协暨奥委会将会举办体育讲座，促进体育发展。2005年7月11日，国际奥委会主席罗格与港协暨奥委会会长霍震霆主持奥运大楼的揭幕典礼，中国香港奥委会总部大楼正式易名为奥运大楼。象征着香港夺得2008年北京奥运马术项目的协办权，荣幸成为世界上仅仅21个奥运城市之一。