Karma gerçeklik ortamında parametrik tasarım ve robotik fabrikasyon yöntemi
Parametric design and robotic fabrication method within mixed-reality environment
Yazar: YUSUF BUYRUK
Danışman: PROF. DR. GÜLEN ÇAĞDAŞ
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilişim Ana Bilim Dalı / Mimari Tasarımda Bilişim Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology

Özet:
Programlanabilir yapısı ve geniş hareket uzayında çalışabilme özellikleri ile endüstriyel robotlar son yıllarda sayısal üretim alanında yapılan çalışmalarda kullanılmıştır. Endüstriyel robotların sayısal üretim alanında kullanılması robotik fabrikasyon olarak adlandırılır. Robotik fabrikasyon işlem adımları, üretimi yapılacak tasarım ürününün üç boyutlu olarak modellenmesi ile başlar. Sonra sırasıyla, üretim sırasında endüstriyel robotun izlemesi gereken takım yolu hesaplanır, endüstriyel robotun ve üretim ortamının simülasyonu yapılır, robot kodu endüstriyel robota yüklenir ve yürütülür. Her farklı tasarım ürünü için robotik fabrikasyon işlem adımları baştan itibaren tamamlanarak farklı bir robot kodu üretilir. Tasarım ürünü üzerinde yapılacak küçük bir değişiklik için bile bu işlem adımlarının yeniden ve en baştan tekrarlanması gerekir.
Parametrik tasarım araçlarının gelişimi ile birlikte endüstriyel robotların sayısal üretim alanında kullanılması alanında da dönüşüm yaşanmıştır. Parametrelerin değiştirilmesi ile tasarım ürününün alternatifleri üretilebildiği gibi bu ürünlerin üretimi için gereken robot kodu da parametrelerin değiştirilmesi ile üretilebilir. Bu sayede tasarım aşaması ve üretime hazırlık aşaması parametrik tasarım ortamında bütünleştirilir ve parametreler ile kontrol edilebilir.
Karma gerçeklik araçlarının robotik fabrikasyon uygulamalarında kullanılması ile sayısal üretim alanında yaşanan dönüşüm ileriye taşınabilir. Kullanıcılar tasarım ve üretim parametrelerine üretim anında da erişebilir, tasarım ve üretim alternatiflerini görsel ve uzamsal geribildirim alarak modelleyebilir ve keşfedebilir. Tasarım ve üretim süreci ile etkileşime girebilir ve bu süreci diğer tasarımcılar ile işbirliği içinde yürütebilir.
Bu çalışmada parametrik tasarım araçlarının ve endüstriyel robotların karma gerçeklik araçları ile kullanılabildiği, hem tasarım sürecinin hem de üretim sürecinin karma gerçeklik ortamında etkileşimli olarak yürütülebildiği, tasarımcıların üretim ve tasarım süreçlerini tümleşik olarak birlikte yürütebildikleri bir yöntemin geliştirilmesi amaçlanmıştır. Tez çalışması kapsamında, parametrik tasarım ve robotik fabrikasyon karma gerçeklik ortamında bütünleştirilmiştir. Bu sayede tasarımcılar önerilerini parametrelerle kontrol edebilir ve üretimden önce karma gerçeklik ortamında uzamsal geribildirim alarak modelleyebilir, bu süreci farklı tasarımcılarla işbirliği içerisinde yönetebilir.
Önerilen yöntem ile parametrik modelleme adımından üretim adımına kadar olan tüm adımlar karma gerçeklik ortamında bütünleştirilerek oluşturulur. Böylece tasarımcı karma gerçeklik ortamında hem tasarım hem de üretim sürecini etkileşimli olarak sürdürebilir. Tasarımcı tasarım ve üretim anında parametreleri değiştirebilir ve sonraki adımlar kullanıcı müdahalesine gerek kalmadan güncellenir ve robotik fabrikasyon insan-robot işbirliği ile kesintisiz olarak devam edebilir. 
Bu çalışma, tasarım ve üretim ortamında endüstriyel robotların karma gerçeklik ortamında kontrol edilebilmesine ve üretim ortamında insanlar ile birlikte işbirliği içinde çalışabilmesine olanak sağlar. Ayrıca tasarım ve üretim anında parametrik tasarım araçlarının karma gerçeklik ortamında kullanılabilmesi sayesinde kullanıcılara kitlesel özelleştirme olanakları sunulur. Mevcut yöntemlerden farklı olarak, tasarım ve üretim için gereken işlem adımlarını azaltarak tasarımdan üretime kadar olan süreci kısaltır.
Karma gerçeklik ortamının sağladığı deneyim, bilgisayar ekranı ile etkileşimden daha zengindir. Parametrik tasarımdan robotik fabrikasyona kadar tüm süreç el hareketleriyle kontrol edilebildiği için gerçeklik algısı daha yüksektir. Parametrik modelleme, takım yolu oluşturma, robot kodu oluşturma ve robotik üretim adımlarında, tasarım ve üretim ortamının dijital ikizi holografik içerik olarak gerçek dünya görüntüsünün üzerine eklenerek tasarımcıya sunulur. Bu sayede tasarımcı, üretim ortamıyla fiziksel ve sanal etkileşime girerek tasarım ve üretim adımlarını değiştirebilir ve bu süreçleri diğer tasarımcılar ile işbirliği içinde yönetebilir.
Birinci bölümde endüstriyel robotların üretim süreçlerinde kullanılmasının üretim devrimleri ve üretim süreçleri üzerindeki dönüştürücü etkisine değinilmiş ve endüstriyel robotların sayısal üretim uygulamalarında insanlarla işbirliği içinde kullanılması konusuna yer verilmiştir. Bu bölümde tezin konusu ve kapsamı tanımlanmış, yapılan araştırmanın motivasyonu, amacı ve sayısal üretim alanındaki çalışmalara ve yöntemlere katkısı açıklanmıştır. Bilgisayar teknolojilerinin ve parametrik tasarım araçlarının tasarım ve sayısal üretim alanında kullanılmaya başlanmasıyla birlikte bu alanda yaşanan dönüşüm açıklanmıştır.
İkinci bölümde parametrik tasarım kavramı, parametre kavramı, parametrik tasarım yaklaşımının ve parametrik tasarım araçlarının tarihsel süreçte gelişimi açıklanmıştır. Tezde, parametrik tasarım araçlarının karma gerçeklik ortamında kullanıldığı bir sayısal üretim yöntemi önerilmiştir. Tezde önerilen yöntemde uygulanabilecek parametrik örüntü örnekleri bu bölümde sunulmuştur. Ayrıca bu bölümde bir üretken sistem olan biçim grameri yönteminin başlangıç, dönüşüm ve sonlandırma kurallarının parametrik tasarım ortamında parametreler ile kontrol edilebileceği ele alınmış ve standart biçim grameri dönüşüm kuralının parametrik tasarım ortamında oluşturulan tanım dosyası örneği sunulmuştur.
Üçüncü bölümde endüstri devrimlerinin tarihsel gelişimine yer verilmiştir. Bu bölümde Endüstri 4.0 üretim devriminin tanımı, özellikleri ve bileşenleri üzerinde durulmuş ve tez çalışmasında önerilen yöntemin Endsütri 4.0 üretim hedefleri ile yakınlığı konu alınmıştır.
Dördüncü bölümde araştırmaya yönelik literatür çalışmasından örnekler sunulmuştur. Bu bölümde ilk olarak taş işçiliği ve ahşap oymacılığı gibi el becerilerinin bile endüstriyel robotlar ile yapıldığı çalışmalar sunulmuştur. Sonra, endüstriyel robotların sayısal üretim uygulamalarında insan-robot işbirliği ile kullanıldığı çalışma örnekleri ve karma gerçeklik araçlarının sayısal üretim alanında kullanıldığı çalışma örnekleri verilmiştir. Son olarak, hem karma gerçeklik araçlarının hem de endüstriyel robotların sayısal üretim alanında birlikte kullanıldığı çalışma örnekleri verilmiştir.
Beşinci bölümde endüstriyel robotların sayısal üretim çalışmalarında kullanıldığı robotik fabrikasyon programlama yöntemleri sunulmuş ve ilk olarak çevrimdışı programlama yöntemi açıklanmıştır. Çevrimdışı programlama yönteminin iş akışı sunulmuş ve bir çevrimdışı programlama örneği olan Gramazia ve Kohler tarafından gerçekleştirilen Pike Loop Projesi'nde endüstriyel robot çevrimdışı programlama adımları açıklanmıştır. Daha sonra parametrik robot kontrol araçları ile endüstriyel robot programlama yöntemi sunulmuş ve bu yöntemin iş akışı açıklanmıştır. Brell-Cokcan ve Braumann tarafından geliştirilen KUKA|prc parametrik robot kontrol eklentisi kullanılarak gerçekleştirilen Steel Bull of Spielberg çalışması üzerinde parametrik robot kontrol araçları ile programlama adımları açıklanmıştır. Ayrıca, parametrik robot kontrol araçları ile programlama yönteminin çevrimdışı programlama yöntemine göre avantajları ve sayısal üretim alanında sunduğu yenilikler de bu bölümde açıklanmıştır.
Altıncı bölümde tez çalışmasının yöntemi ve tez kapsamında yapılan çalışmalar açıklanmıştır. Tezde önerilen karma gerçeklik ortamında parametrik tasarım ve robotik fabrikasyon yöntemi açıklanmış; yöntemin iş akışı, bu yöntemde endüstriyel robot, parametrik tasarım yazılımı ve karma gerçeklik aracının rolleri açıklanmıştır. Tezde önerilen yöntemin gerçekleştirilebilmesi için beş ayrı yazılım geliştirme görevi tamamlanmış ve bu yazılım geliştirme görevleri bu bölümde açıklanmıştır. Tez çalışmasında kullanılan endüstriyel robot manipülatörünün, endüstriyel robot kontrol ünitesinin, endüstriyel robot el kumanda panelinin, robot programlama dilinin ve karma gerçeklik cihazının teknik özelliklerine bu bölümde yer verilmiştir. Karma gerçeklik aracı ve parametrik tasarım programı arasında kurulan REST API iletişimi ve endüstriyel robot ile parametrik tasarım programı arasında kurulan TCP API iletişimi için geliştirilen yazılımlar açıklanmış ve tez çalışması kapsamında bu donanımlar arasındaki iletişimlerin test edildiği strafor malzeme kullanılarak gerçekleştirilen bir endüstriyel robot tel kesme çalışması yapılmıştır. Yapılan çalışmanın parametrik tanım dosyası ve tasarım ürünü açıklanmıştır. Karma gerçeklik aracı üzerinden parametrik tasarım tanım dosyasının parametreleri değiştirilerek sonuçlar karma gerçeklik aracı üzerinden izlenebilmiş ve endsütriyel robot ile kurulan iletişim üzerinden robot kodu endüstriyel robota gönderilerek tasarlanan ürün tel kesme yöntemi ile üretilmiştir. Bu çalışma ile geliştirilen yazılımların doğru sonuçlar ürettiği test edilmiş ve doğrulanmıştır. Yazılım geliştirme adımları tamamlandıktan sonra bir doğal taş üretim atölyesinde önerilen yöntemin bir modeli oluşturulmuştur. Parametrik modelleme araçları kullanılarak biçim grameri yöntemiyle tanımlanan bir tasarım ürünü, karma gerçeklik aracı ve endüstriyel robot kullanılarak tez çalışmasında önerilen yöntem ile üretilmiştir.
Yedinci bölümde üretim ortamından elde edilen değerlendirme ve gözlem sonuçlarına dayanarak, önerilen yöntem ve mevcut diğer yöntemler karşılaştırılmış ve bir özellik karşılaştırma tablosu oluşturulmuştur. Tezde önerilen karma gerçeklik ortamında parametrik tasarım ve robotik fabrikasyon programlama yöntemi, çevrimdışı programlama yöntemi örneği olan Pike Loop Projesi çalışması ve parametrik robot kontrol araçları ile programlama yöntemi örneği olan Steel Bull of Speilberg çalışması üzerinden diğer yöntemler ile karşılaştırılmış ve yöntemin avantajları, eksik yönleri ve sayısal üretim alanında yöntemin sunduğu yenilikler tartışılmıştır. Yine bu bölümde tez kapsamında yapılacak ileri çalışmalara yer verilmiştir.
Sonuç olarak tez çalışması kapsamında, gerekli tüm yazılım geliştirme adımları tamamlanarak, karma gerçeklik ortamında etkileşimli parametrik tasarım ve robotik fabrikasyon yöntemi geliştirilmiş ve önerilen yöntemin bir modeli gerçek bir üretim ortamında oluşturulmuştur. Üretim ortamından elde edilen değerlendirme ve gözlem sonuçları ile çalışmada öne sürülen yöntem ve mevcut diğer yöntemler karşılaştırılmıştır.

Abstract:
With the use of industrial robots in production lines, production processes have been automated, faster production of products and mass production possibilities have developed. With its programmable structure and ability to work in a wide workspace, the use of industrial robots in the production area is not limited to mass production lines. Although the production purposes are to perform repetitive tasks with high speed and accuracy, industrial robots have also been used in studies in digital fabrication in recent years.
The use of industrial robots in digital fabrication is defined as robotic fabrication. Robotic fabrication steps begin with the modeling of the design product. Then, respectively, the toolpath that the industrial robot follows during production is calculated, the industrial robot and the production environment are simulated, and the robot code is loaded into the industrial robot and executed.
For each design product, the robotic fabrication programming tasks are completed from the beginning and a design product-specific robot code is produced. Even for a small change to be made to the design product, these tasks must be repeated again from the beginning.
With the use of computer technology, designers have taken their imagination to the next level thanks to the advantages of digital possibilities and they have increased their pursuit of form finding and started to fabricate forms in complex shapes using new design and production possibilities. However, the production processes of complex design products also contain complex problems. Therefore, the use of computer technologies is not limited to the design phase, but also in the fabrication processes of complex design products.
Parametric-design tools have evolved in such a way that both the design process and the fabrication process can be controlled with parameters. By changing the parameters, the design product as well as the production codes required for the production of these parts are generated. With the development of parametric-design tools, the design model has multiple design alternatives that can be generated with different parameters. The designer reaches a set of results with parametric design instead of a single result, and the possibilities for testing the different alternatives of design products before fabrication is improved. With parametric-design tools, many different design alternatives can be explored by simply changing parameters. The ability to make changes to the design with the parameters has enabled alternatives to be tested and manufactured. In this way, it becomes possible to design and fabricate complex design products.
In this study, a method, in which the design process and robotic fabrication process are integrated within a mixed reality environment, where designers can interact with design and fabrication alternatives and manage this process in collaboration with other designers, is proposed. To achieve this goal, the digital twin of both design and robotic fabrication steps is created within the mixed-reality environment. Designers can change both design and robotic fabrication parameters and subsequent steps are generated automatically. Robotic fabrication can continue uninterrupted with human-robot collaboration. 
This study contributes to improving design and fabrication possibilities such as mass customization and shortens the process from design to production. The user experience and augmented spatial feedback provided by the mixed-reality environment are richer than the interaction with the computer screen. Since the whole process from the parametric design to robotic fabrication can be controlled by parameters with hand gestures, the perception of reality is richer. In parametric modeling, toolpath, and robot code generation, and robotic fabrication steps, the digital twin of design and production environment is superimposed as holographic content by adding it on top of the real-world image and presented to the designer. Designers can interact with both design and fabrication processes both physically and virtually and can collaborate with other designers.
In the first chapter, the transformative effect of the use of industrial robots in production processes on industrial revolutions and production processes is mentioned, and the use of industrial robots in cooperation with humans in digital fabrication applications is included. The subject and scope of the thesis are defined, and the motivation and purpose of the research and its contribution to the studies and methods in the field of digital fabrication are explained. In this section, the transformation experienced in this field with the use of computer technologies and parametric design tools in the field of design and digital fabrication is explained.
In the second chapter, the definition of parametric design and the definition of the parameter, the development of the parametric design approach, and parametric design tools are explained. In the thesis, a digital fabrication method in which parametric design tools are used in a mixed reality environment is proposed. Parametric patterns that can be applied to the method proposed in the thesis are presented in this section. In this section, it is discussed that the start rule, the transformation rules, and the termination rule of the shape grammar method, which is a generative system, can be controlled with parameters in the parametric design environment. The transformation rule of the parametric shape grammar method is defined in the parametric design program. The parametric design definition file and design alternatives of the parametric shape grammar transformation rule is presented. 
In the third chapter, the history and the development of industrial revolutions are given. In this section, the definition, and components of the Industrial Revolution 4.0 are explained. The components of the Industrial Revolution 4.0, which are the use of robots that can work in collaboration with humans, the use of digital twin technologies, mixed reality, and augmented reality tools in production, are explained. The contribution of the method proposed in the thesis study to the targets of Industrial Revolution 4.0 is discussed.
In the fourth chapter, research study examples from the literature are given. In this section, firstly, the studies in which even hand skills such as stonemasonry and wood carving are done with industrial robots are presented. Then, examples of studies where industrial robots are used in digital fabrication with human-robot cooperation and examples of studies where mixed reality tools are used in digital fabrication are given. Finally, examples of studies in which both mixed reality tools and industrial robots are used together in digital fabrication are given.
In the fifth chapter, robotic fabrication programming methods in which industrial robots are used in digital production studies are presented and firstly, the offline programming method is explained. The workflow of the offline programming method is presented and the industrial robot offline programming steps are explained in the "Pike Loop Project" study by Gramazia and Kohler, which is an example of offline programming. Then, the industrial robot programming method with parametric robot control tools is presented. In this step, the KUKA|prc plug-in developed by Brell-Cokcan and Braumann and the ABB-HAL plug-in developed by Schwartz are given as examples and the industrial robot programming workflow using parametric robot control tools is explained. In the "Steel Bull of Spielberg" project, in which the KUKA|prc parametric robot control plug-in is used, the programming steps with parametric robot control tools are explained. In addition, the advantages of the programming method with parametric robot control tools compared to the offline programming method and the innovations it offers in the field of digital fabrication are also explained in this section.
In the sixth chapter, the method of the thesis study and the studies carried out within the scope of the thesis are explained. Parametric design and robotic fabrication method in the mixed reality environment proposed in the thesis are explained; the workflow of the method; the roles of the industrial robot, the parametric design software, and the mixed reality device in this method are explained. In order to be able to create the model of the method proposed in the thesis, five different software development tasks have been completed and these software development tasks are explained in this section. The technical specifications of the industrial robot manipulator, industrial robot control unit, industrial robot handheld control panel, robot programming language, and mixed reality device, which are used in the study are given in this section. The software developed for the REST API communication between the mixed reality tool and the parametric design program, and the software developed for the TCP API communication between the industrial robot and the parametric design program are explained. The industrial robot wire-cutting robotic fabrication study using Styrofoam material was completed, in which the communications between the mixed-reality device and parametric design program and between the industrial robot and parametric design program were tested. The parametric definition file and the parameters of the design product of the study are explained. By changing the parameters of the parametric design definition file within the mixed reality device, the design alternative can be monitored through the mixed reality device, and the robot code is sent to the industrial robot via the communication established with the industrial robot. The parametric design product was produced by the robotic wire-cutting application. It was tested and verified that the communication software developed in this study produce accurate results. After the software development steps were completed, a model of the proposed method was created in a natural stone production workshop. The proposed method was tested using a mixed reality tool and an industrial robot on a design product defined by the shape grammar method using parametric modeling tools. In order to test the proposed method, a natural stone robotic fabrication environment is created. The proposed method was tested on a design product, which was defined by the shape-grammar method using parametric-modeling tools. Natural stone material was chosen to test the proposed method in robotic fabrication.
In the seventh chapter, the proposed method was compared to other existing methods based on observations obtained from natural stone robotic fabrication. A feature comparison table was created. The parametric design and robotic fabrication programming method within the mixed reality environment were compared with other methods in the Pike Loop Project study, which is an offline programming example, and the Steel Bull of Spielberg study, which demonstrates the use of parametric robot control tools. The advantages and disadvantages of the proposed method, as well as the innovations it offers, are discussed. This section also outlines future studies to be conducted within the scope of the thesis.
As a result, in this study, software development tasks were completed, the method of interactive parametric design and robotic fabrication in a mixed reality environment was developed and a test model of the proposed method was created in a real production environment. Based on the results obtained from the robotic fabrication tests, the proposed method and other methods were compared.