Dickenson, 23, gjorde fyra mål i 78 framträdanden för Gills över två säsonger efter att ha gått med från Brighton.
Han släpptes av League One-sidan i maj och går med på ett tvåårigt avtal.
Ex-Millwall trainee Peter, 19, har tecknat ett ettårigt avtal efter att ha tillbringat säsongen hälften av 2015-16 på rättegång med U's Under-21 sida.
Han kommer att vara tillgänglig för både under 21 sidan och första laget som John McGreal gör sin femte och sjätte signeringar sedan han blev U: s chef.
Framåt Denny Johnstone, midfielder Courtner Senior och försvarare Luke Prosser och Ben Wyatt har alla anslutit sig.
Hitta alla de senaste fotbollsöverföringarna på vår dedikerade sida.
Colchester United har undertecknat tidigare Gillingham mångsidig vänster-back Brennan Dickenson och f.d. Chelmsford City center-back Dexter Peter.