Selon la tradition populaire, citée par Hippolyte Constant Charles en 1883, par Jules Viseur en 1896, et reprise par le Syndicat Hippique Boulonnais (SHB), la naissance de la race serait due au passage de la cavalerie de César en 54 avant Jésus-Christ, près de Boulogne, région alors connue sous le nom de Morinie. numides originaires d'Afrique du Nord, appartenant à l'armée romaine, auraient stationné dans la région, tandis que se préparait l'expédition de Jules César en Bretagne. Si pour Jules Viseur, la Morinie ne comptait alors pas de chevaux, d'après Hippolyte Constant Charles, des juments lourdes indigènes se seraient faites saillir par les étalons numides. La nature du sol boulonnais et la qualité des herbages auraient entraîné l’acquisition de caractères propres chez les descendants de ces croisements. Une autre origine invoquée est celle de montures abandonnées sur place par les Huns d'Attila, vaincus au .