Som ungdom var Archie stadig på kant med loven, selv om det utelukkende dreide seg om mindre lovbrudd som nasking og pøbelstreker. I håp om å få ham på bedre veier bestemte familien seg for å fjerne ham fra miljøet han vanket i og flyttet til St. Louis. Det skulle ikke gå lenge før Archie ble arrestert og dømt til to år på et guttehjem for å ha gjort innbrudd og stjålet verdisaker i en bil. Det var i det tøffe miljøet her at Moore oppdaget talentet han hadde for boksing, og innen løslatelsen hans to år senere var han blitt en solid bokser og klar til å gå løs på en amatørkarriere som skulle bli grunnlaget for en legendarisk karriere som skulle se sin fødsel noen år senere.