A arquitetura do YOLOv4 inclui vários componentes-chave: a espinha dorsal, o pescoço e a cabeça. A espinha dorsal, que pode ser constituída por modelos como VGG, ResNet ou CSPDarknet53, é pré-treinada para prever classes e caixas delimitadoras. O pescoço, utilizando a PANet, liga mapas de características de diferentes fases para uma extração de dados abrangente. Finalmente, a cabeça, que utiliza as configurações do YOLOv3, faz as detecções finais de objectos. O YOLOv4 também emprega técnicas de "bag of freebies" como o aumento de dados em mosaico e a regularização DropBlock, optimizando ainda mais a sua velocidade e precisão.