Druhý kontinentální kongres byl svolán v květnu 1775. Harrison bydlel během kongresu ve Filadelfii v domě spolu s Peytonem Randolphem a Georgem Washingtonem. Zůstal tam sám poté, co Washington převzal velení kontinentální armády a Randolph zemřel. Harrison zůstal na kongresu do konce zasedání v červenci 1776, na kongresu pracoval jako předseda Committee of the Whole. Předsedal závěrečným debatám o „Lee Resolution“, dokumentu delegáta Virginie Richarda Henryho Lee, a předsedal také debatám o změnách závěrečného znění Deklarace nezávislosti.