YOLOv4'ün mimarisi birkaç temel bileşen içerir: omurga, boyun ve kafa. VGG, ResNet veya CSPDarknet53 gibi modeller olabilen omurga, sınıfları ve sınırlayıcı kutuları tahmin etmek için önceden eğitilmiştir. PANet kullanan boyun, kapsamlı veri çıkarımı için farklı aşamalardan gelen özellik haritalarını birbirine bağlar. Son olarak, YOLOv3'teki konfigürasyonları kullanan kafa, nihai nesne tespitlerini yapar. YOLOv4 ayrıca mozaik veri artırımı ve DropBlock düzenlemesi gibi "bag of freebies" tekniklerini kullanarak hızını ve doğruluğunu daha da optimize eder.