# Vladlen Koltun

Vladlen Koltun (nascido em 1980) é um cientista computacional israelo-americano e investigador de inteligência artificial. Presentemente, contribui como cientista distinto na Apple Inc. As suas principais áreas de investigação são inteligência artificial, visão computacional, aprendizado de máquina e reconhecimento de padrões. Também prestou contribuição significativa na área da robótica e da condução autónoma.
As contribuições de Koltun para a pesquisa e publicações são nas áreas de redes neurais convolucionais, simulação, síntese de visualizações, renderização fotorrealista, simulação para veículos autónomos urbanos, gráficos computacionais 3D, locomoção de robôs, e manobrabilidade de drones em ambientes dinâmicos.
É também conhecido pelo seu trabalho no sistema de desenvolvimento de fotorrealismo, e pelo seu estudo crítico do índice de Hirsch, uma métrica comum na comunidade científica para avaliar o trabalho dos cientistas.

## Início de vida e educação

Vladlen Koltun nasceu em 1980 em Kiev, Ucrânia, e cresceu em Israel. Concluiu o seu mestrado em ciência da computação com distinção magna cum laude pela Universidade de Tel Aviv em 2000. Prosseguiu os seus estudos universitários e concluiu o doutoramento com honra em ciência da computação em 2002 com uma tese intitulada “Arranjos em quatro dimensões e estruturas relacionadas”; o seu orientador de doutoramento foi Micha Sharir. De seguida, realizou o seu pós-doutoramento sob a orientação de Christos Papadimitriou na Universidade da Califórnia, Berkeley, onde realizou investigação na área da ciência da computação teórica entre 2002 a 2005.

## Carreira

Koltun esteve colocado como professor assistente na Universidade de Stanford entre 2005 a 2013, onde deu aulas de ciência da computação, computação gráfica e algoritmos geométricos. Durante o seu período em Stanford, orientou o doutoramento de estudantes e o pós-doutoramento de investigadores. Ainda em Stanford, Koltun recebeu a Bolsa de Investigação Sloan e o Prémio de Carreira da Fundação Nacional de Ciências. A pesquisa de Koltun em Stanford contribuiu para o desenvolvimento da tecnologia de modelagem 3D baseada em dados, em colaboração com Siddhartha Chaudhur. O trabalho de Chaudhuri, em conjunto com Koltun, Evangelos Kalogerakis e Leonidas Guibas, resultou numa publicação na SIGGRAPH em 2011. Como resultado, a Mixamo licenciou a tecnologia de Stanford e posteriormente a Adobe Inc. adquiriu a Mixamo e desenvolveu ainda mais o Adobe Fuse CC, um software de computação gráfica 3D que permitiu aos utilizadores criar personagens 3D. Em 2014, Koltun ingressou na Adobe para conduzir pesquisas na área da computação visual com foco principal na reconstrução tridimensional. Koltun deixou a Adobe para ingressar na Intel, onde ocupou diversos cargos até 2021 nos projetos de P&D da empresa para Sistemas de Inteligência Artificial. Desde agosto de 2021, Koltun colabora na qualidade de cientista ilustre na Apple Inc.

## Investigação

Na Intel, Koltun contribuiu para o desenvolvimento de simuladores de realidade virtual para condução autónoma urbana, robôs e drones, com foco em técnicas de aprendizagem profunda por reforço com redes neurais em ambientes virtuais. Essas redes passaram por um processo de aprendizagem por tentativa e erro em realidade virtual antes de serem transferidas para robôs ou drones para aplicação no mundo real. Este método foi aplicado ao robô ANYmal, uma máquina quadrúpede com feedback proprioceptivo no controlo da locomoção.
Os estudos no campo da condução autónoma urbana conduziram o grupo de Koltun ao desenvolvimento do projeto Car Learning to Act (CARLA) em 2017. É um simulador de código aberto, alimentado pelo Unreal Engine, que pode ser usado para testar tecnologias de condução autónoma em ambientes realistas com situações perigosas aleatórias. O projeto foi financiado pela Intel Labs e pelo Toyota Research Institute.
Em 2020, inspirado pelo Google Cardboard, Koltun desenvolveu o OpenBot em conjunto com o cientista alemão Matthias Müller. Trata-se de um conjunto de soluções de software que transforma smartphones Android em robôs de quatro rodas capazes de navegar, localizar objetos e evitar obstáculos. O robô inclui um chassi impresso em 3D que comporta um controlador, LEDs, um suporte para smartphone e um cabo USB. O software consiste na placa Arduino Nano, que faz a ponte entre o smartphone e as tarefas de atuação do motor e das baterias, e uma aplicação para Android, responsável pela integração dos dados. O projeto foi lançado como software de código aberto para aplicações relacionadas com a robótica,com o kit de desenvolvimento de software disponível no GitHub.
Koltun também contribuiu para o desenvolvimento adicional nas áreas de síntese de visualizações fotorealísticas em 3D. Em 2021, utilizando o seu trabalho com outros investigadores na Intel, chamado “Aperfeiçoar o Melhoramento do Fotorrealismo”, foi testado no jogo Grand Theft Auto 5.

### Crítica ao índice de Hirsch

Koltun expressou preocupação quanto à fiabilidade do índice h, destacando o aumento dos seus valores devido à prevalência de múltiplas coautorias nas comunidades científicas. Esta crítica foi apresentada em colaboração com David Hafner.

## Trabalhos selecionados

* Richter, Stephan R.; Hassan Abu AlHaija; Koltun, Vladlen (2021). "Aperfeiçoar o Melhoramento do Fotorrealismo" . arXiv : 2105.04619 [cs.CV].
* Joonho Lee, Jemin Hwangbo, Lorenz Wellhausen, Vladlen Koltun, Marco Hutter; Aprendendo Locomoção Quadrúpede em Terreno Desafiante, Science Robotics (2020)
* Elia Kaufmann, Antonio Loquercio, René Ranftl, Matthias Müller, Vladlen Koltun, Davide Scaramuzza; Acrobacias Profundas de Drones, Robotics: Science and Systems (2020)
* Manolis Savva, Abhishek Kadian, Oleksandr Maksymets, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, Dhruv Batra; Habitat: Uma Plataforma para Pesquisa em IA Encarnada," Conferência Internacional de Visão Computacional (2019)
* Chen Chen, Qifeng Chen, Jia Xu, Vladlen Koltun, Aprendendo a Ver no Escuro, Conferência de Visão Computacional e Reconhecimento de Padrões (CVPR), Salt Lake City, UT, junho de 2018
* Bai, Shaojie; Zico Kolter, J.; Koltun, Vladlen (2018). " Uma Avaliação Empírica de Redes Genéricas Convolucionais e Recorrentes para Modelagem de Sequências". arXiv : 1803.01271 [ cs.LG ].
* Zhou, Qian-Yi; Park, Jaesik; Koltun, Vladlen (2018). "Open3D: Uma Biblioteca Moderna para Processamento de Dados 3D". arXiv : 1801.09847 [ cs.CV ].
* Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio López, Vladlen Koltun; CARLA: Um Simulador Aberto de Condução Urbana, Conferência sobre Aprendizagem de Robôs (CoRL) 2017
* F Yu, V Koltun; Agregação de Contexto em Múltiplas Escalas por Convoluções Dilatadas, Conferência Internacional sobre Representações de Aprendizado (ICLR) 2016.
* Stephan R Richter, Vibhav Vineet, Stefan Roth, Vladlen Koltun; Jogando por Dados: Verdade Fundamental de Jogos de Computador, Conferência Europeia de Visão Computacional (ECCV) 2016
* Sergey Levine, Vladlen Koltun; Busca de Política Orientada, Conferência Internacional de Aprendizado de Máquina (ICML) 2013
* Philipp Krähenbühl, Vladlen Koltun; Inferência Eficiente em CRFs totalmente ligados por potenciais Gaussianos de ponta, Avanços em Sistemas de Informação Neural de Processamento (NIPS) 2011