Tijdens de Constitutional Convention stelde Carroll zich zeer actief op. Hij was voorstander van een sterke centrale overheid om de handel tussen de staten onderling en met andere naties te reguleren. Ook was hij tegen elke vorm van betaling van Congresleden, omdat het Congres daardoor geheel afhankelijk zou worden van de centrale overheid. Daardoor zou zij in kracht inboeten. Samen met Thomas Fitzsimons was Carroll een van de twee Rooms-katholieken die de grondwet ondertekende.