Telekomünikasyon sektöründe kullanılan ek odaların sokak düzeyi görüntülerinden tespit edilmesi
Detection of manholes from street-level imagery in telecommunication business
Yazar: AHMET EĞRİ
Danışman: DR. ÖĞR. ÜYESİ CANER GÜNEY
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Geomatik Mühendisliği Ana Bilim Dalı / Geomatik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Günümüzde veri ekonomisi zihin dünyamızın yeniden şekillenmesini sağlamaktadır. Alışılagelmişin dışında yöntemler ile veri üretmenin ve analiz etmenin yolları sürekli bir şekilde çeşitlenmektedir. Geomatik mühendisliği alanındaki veri elde etme yöntemleri de klasik haritalar yerine web tabanlı haritaların ve coğrafi bilgi sistemlerinin kullanımının yaygınlaşmasıyla büyük bir değişim yaşamıştır. Harita bilgileri kimi zaman belirli bir bütçe harcanarak üretildiği gibi kimi zaman da OpenStreetMap (OSM) gibi kitle kaynak kullanımı ile üretilebilmektedir.      
Son yıllarda kalabalık toplulukların dahil olduğu konuma dayalı veri üretiminde büyük bir artış gözlemlenmektedir. Giderek artan sayıdaki kitle kaynaklı coğrafi veri tabanı servisleri özel ve tüzel kişilerin bu platformlara veri hizmeti katkısı sunmalarına ya da buradaki verileri kullanmalarına olanak sağlamıştır. Bu gelişmeler, Gönüllü Coğrafi Bilgi (Volunteered Geographic Information, VGI) kavramının hayatımızda yer edinmesini sağlamıştır.
Mekansal Veri Altyapılarının (Spatial Data Infrastructure, SDI) ve geoportalların etkin olarak kullanıldığı geçtiğimiz çeyrek yüzyılda mekansal verinin yönetişiminde daha etkin yollar aranmakta ve ayrıca makinelerin/etmenlerin bu yönetişimin bir parçası olması sağlanmaya çalışılmaktadır. Özellikle büyük kitleler tarafından mobil platformlar aracılığıyla üretilen verilerin değerlendirilerek karar-destek süreçlerine dahil edilmesi konusunda büyük çaba harcanmaktadır. Bu amaçla kullanıma sunulan yapay öğrenme modellerinin yükselen algılama başarımı, mekansal veri üretiminde endüstriyel bir araç olarak bu yöntemlerin kullanılmasının önünü açmaktadır.
Bu gelişmeler sonrasında, günümüzde harita verisi üretimindeki fazla zamana ihtiyaç duyulan ve emek yoğun iş süreçlerine sahip geleneksel yöntemler yerini derin öğrenme tabanlı bilgisayarlı görü tekniklerini içeren yenilikçi çözümlere bırakmaktadır. Bu konuda hazırlanan çok sayıda akademik çalışmanın yanı sıra benzer amaçlarda farklı firmaların geliştirdiği farklı ticari çözümler de bulunmaktadır. 
Mapillary platformu kitle kaynak yöntemiyle kullanıcılardan sokak düzeyi (street-level) görüntüleri toplayıp, bu görüntülerden derin öğrenme yöntemiyle harita bilgilerinin üretildiği bir girişim (startup) çözümüdür. Mapillary, bilgisayarlı görü (computer vision) ve derin öğrenme (deep learning) teknikleri ile değerlendirme yaparak kullanıcıların yüklediği görüntülerden mekansal bilgiler üretmektedir. Bu bilgiler arasında vektör veri yapısında  ilgi noktası (Point of Interest) özellikli trafik ışıkları, trafik levhaları, ek odalar (manhole), rögar kapakları gibi nesneler bulunmaktadır. Mapillary görüntülerde tespit ettiği bu nesnelerin konumlarını özniteliklerine/nesne sınıflarına bağlı olarak harita üzerinde gösterebilmektedir.      
Mapillary'nin 2014 yılında açık lisans ile hayata geçmesinden sonra OSM kullanıcıları uydu görüntüleri ya da hava fotoğrafları ile elde edilemeyen ve saha çalışması gerektiren verileri bu platform üzerinden toplamaya başlamışlardır. Mapillary platformu Openstreetmap'in "ID Editör" ve "JOSM" çizim aracıyla entegre olup sokak seviyesi görüntüler bu platformda açılabilmektedir. Mapillary'nin bu özelliği açık kaynak kodlu harita geliştirilmesine katkı sunan topluluklar tarafından benimsenmesini ve dünya genelinde çok sayıda sokak düzeyi görüntünün platforma yüklenmesini sağlamıştır. Bugüne kadar, Mapillary platformuna dünyanın farklı bölgelerinden 800 milyondan fazla sokak düzeyi görüntü kaydedilmiştir.  
Bu tez çalışması kapsamında, bilgisayarlı görü (computer vision), derin öğrenme (deep learning), anlamsal bölütleme (semantic segmentation) gibi kavramlar Mapillary ile ilişkilendirilerek incelenmektedir. 
Bu çalışmada; Mapillary platformunda bir sınıf olarak kabul edilen ek odaların (manhole) sokak düzeyi görüntüler üzerinden bilgisayarlı görü yaklaşımıyla tespit edilmesi ve tespit edilen ek odaların belirlenen konum bilgileriyle, telekomünikasyon sektöründe halihazırda kullanılan jeodezik ölçme yöntemleriyle belirlenmiş olan konum bilgilerinin karşılaştırılması ve değerlendirilmesi yapılmaktır. Bu sayede, yenilikçi olarak nitelendirilen yöntemle mekansal veri üretiminin halihazırda kullanılmakta olan geleneksel ölçme yöntemlerinin yerini alıp alamayacağı araştırılmaktadır. Çalışma alanı olarak İstanbul'da üç farklı yol ağı (arter) farklı kategorilerde analiz yapılabilecek biçimde belirlenmiştir. Çalışma alanlarında cep telefonu ve GPS'li araç kamerasının kullanıldığı iki farklı teknikle sokak düzeyi görüntüler elde edilmekte ve elde edilen görüntüler Mapillary platformuna aktarılmaktadır. Böylelikle, görüntü elde etme araçlarının sokak düzeyi görüntülerinden harita verilerinin üretildiği yenilikçi yöntemin çıktılarına ne şekilde etki ettiği de ortaya konmaktadır. 
Elde edilen bulgular ışığında yenilikçi yöntemin mevcut durumda doğruluk başarımı özelinde geleneksel yöntemin yerini alamayacağı ve birlikte kullanılmaları durumunda telekomünikasyon sektöründeki uygulamalarda verimliliğin artacağı sonucuna ulaşılmıştır. Bu türden bir yenilikçi yöntemin kullanıldığı varlık tanımlama ve varlıkların koordinatlarını belirleme çözümlerinde, çalışma kapsamında yapılan önerilerin dikkate alınması durumunda yakın gelecekte yenilikçi yöntemin, geleneksel yöntemin yerine geçeceği öngörülmektedir.

Abstract:
Nowadays, the data economy provides the reshaping of our world. The ways of producing and analyzing data with the usual methods are constantly diversified. Data acquisition methods in the field of geomatics engineering have also undergone a major change with the widespread use of web-based maps and geographic information systems instead of classical maps. Map data is sometimes produced by spending a certain budget and sometimes by crowdsourcing such as OpenStreetMap (OSM).
In recent years, there has been a huge increase in location-based data production, including communities. An increasing number of crowd-sourced geographical database services have enabled individuals and legal entities to provide data services to these platforms or to use the data there. These developments have enabled the concept of Volunteered Geographic Information (VGI) to take place in our lives.
In the past quarter century, where spatial data infrastructures (spatial data infrastructures, SDI) and geoportals are used effectively, more effective ways of governance of spatial data are being sought and also efforts are made to ensure that machines / factors are a part of this governance. Particularly, great efforts are made to evaluate the data produced by large masses via mobile platforms and to include them in decision-support processes. The increasing perception of artificial learning models introduced for this purpose paves the way to use these methods as an industrial tool in the production of spatial data. 
In artificial learning, neural networks that provide data production are trained instead of directly coding to produce data. For example, when a cat is wanted to be detected with the help of a neural network; There is no need to code for mustache and ear search. You have to show thousands of tagged cat images to the algorithm, and as a result, the algorithm can automatically find other cats. If foxes are classified incorrectly as cats, there is no need to re-code. To eliminate detection errors, only more tagged cat images are shown to the algorithm.
Artificial learning methods are frequently used in the solution of many problems such as object detection and semantic segmentation in the computer vision field. In recent years, spatial data production using street level images with the help of artificial learning methods has become one of the important focal points of both academic studies and commercial applications.
After these developments, traditional methods with much time spent in map data production and labor-intensive business processes are replaced by solutions including deep learning based computer vision techniques. In addition to numerous academic studies on this title, there are also different commercial solutions developed by different companies for similar purposes.
In recent years, the success of classification models in object detection has been carried to a very high level with the use of neural networks and artificial learning power in computer vision approach. Computers can detect objects in videos and images obtained by real-time evaluation, thus enabling driverless vehicles, augmented reality, etc. It is observed that the studies have also accelerated. By integrating the object creation (Sturucture from Motion, SfM) technique into the detection algorithms, it is possible to produce spatial data from street-level images by integrating the spatial data of multiple objects containing the same object into the detection algorithms.
Mapillary is a start-up solution that collects street-level images from users with crowdsourcing method and generates map information with deep learning method from these images. Mapillary generates spatial information from images uploaded by users by evaluating with computer vision and deep learning techniques. This information includes objects such as traffic lights with point of interest in the vector data structure, traffic signs, manhole covers. Mapillary can display the locations of these objects detected on the images, depending on their attributes / object classes.
After Mapillary was launched with an open license in 2014, OSM users started to collect data that cannot be obtained with satellite images or aerial photographs and require field work on this platform. Mapillary platform is integrated with Openstreetmap's "ID Editor" and "JOSM" drawing tool and street level images can be opened on this platform. This feature has enabled Mapillary to be adopted by communities that contribute to the development of open source maps, and many street-level images are uploaded to the platform. To date, over 800 million street-level images from different parts of the world have been recorded on the Mapillary.
Within the scope of this thesis, concepts such as computer vision, deep learning, semantic segmentation are analyzed in relation to Mapillary.
On the other hand, like all companies that build and operate infrastructure, telecommunications companies need spatial data infrastructure to operate their communication networks. Spatial data of the equipment needed to provide communication services are stored in the companies' information systems. Some of these equipment may be aboveground assets such as base stations or field cabinets that people can easily see in their environment, while others are components of infrastructure systems buried underground, such as pipes or cables.
In order to ensure the continuity of the services of telecommunication companies; assets in network systems need to be able to accurately produce location information, they can update their location information after changes to infrastructure systems, and they can produce and integrate the location information of new assets added to the expanding system due to newly added service ends. Although infrastructure companies make significant investments in GIS-based asset management systems, significant or missing data can be found in their databases. Inventory data in constant change and improvement are missing or inaccurate; it may lead to incorrect results of the planning, new field measurements and delay in meeting the demands of the customers.
Telecommunications companies; is in search of a solution that will ensure the flow of data and information between field studies and office environment in spatial data production, which is less dependent on human factor, faster, lower cost and higher data quality. Thus, telecommunication companies will be able to reduce time and cost expenses, provide higher quality services to their end users and stand out in the competition of providing successful services over fiber optic infrastructure.
It is aimed to detect the manholes accepted as a class in the Mapillary platform with a computer vision approach on the street level images, and to compare and evaluate the location information of the manholes identified with the geodetic measurement methods currently used in the telecommunication sector. In this way, it is explored whether the spatial data production with the method described as innovative can replace the traditional measurement methods currently in use. As a study area, three different road networks (arteries) in Istanbul have been determined in such a way that analysis can be made in different categories. Street-level images are obtained with two different techniques using mobile phones and GPS embeded vehicle cameras in the work areas and the images are imported to the Mapillary platform. Thus, it is revealed how the image capture tools affect the outputs of the innovative method by which map data is produced from street-level images.
In addition, it will be investigated how the image acquisition tools to be used within the scope of this study affect the outputs of the innovative method in which map data is produced from street-level images. For this purpose, street level images will be obtained by using the vehicle camera with GPS and mobile phone. The position information produced from the images obtained by both methods will be compared using metrics such as accuracy, precision, sensitivity.
In the light of the obtained findings, it has been concluded that the innovative method cannot replace the traditional method in terms of accuracy achievement in the current situation, and if used together, efficiency will increase in applications in the telecommunications sector. It is predicted that in the near future, the innovative method will replace the traditional method, if the suggestions made within the scope of the study are taken into consideration.
It is considered that the proposed method can be used in order to compare the coordinates with known points, as they need information about whether additional rooms can maintain their presence within the scope of maintenance and repair activities carried out by telecommunication companies. In the case of an additional room cover that is not found in the GIS environment and spatial database but has been identified with an innovative method, the traditional method can be used to produce higher accuracy location information of the relevant point. Thus, the innovative method can be used to optimize the performance of the traditional method.
Telecommunications companies can take advantage of an innovative method to speed up their exploration in the relevant regions before investing in new regions. Thus, they can provide an overview of investment decision-support for the relevant region at a lower cost and less time. If more detailed study is preferred according to these results, traditional method can be used.
Within the scope of local government studies, many vehicles are constantly on track to serve the city for different purposes. Garbage trucks, city buses, municipal vehicles, etc. The cameras with GNSS receiver integrated on the vehicle can record continuously while performing many vehicle works. The recorded images can be evaluated in artificial learning models similar to the computer vision deep learning model used in this study, and hundreds of city objects can be detected on images and associated with the Urban Information Systems. In these days when "Smart" Cities are discussed extensively, such spatial intelligence practices will contribute to local governments to manage cities more effectively. At the same time, the acquired and tagged image datasets will provide the formation of a tagged spatial data education set infrastructure for different spatial intelligence applications.