Han skrev under for Arsenal 7. juli 2010. Koscielny var tilnærmet fast inventar i Arsenals forsvarsrekke i Premier League-sesongen 2011/2012, sammen med Thomas Vermaelen og Per Mertesacker. 12. januar 2017 skrev han under en ny kontrakt med Arsenal. Han var kaptein på Arsenals førstelag da det sommeren 2019 ble kjent at han mistrivdes og ikke ville bli med på lagets forestående USA-turné.