В январе 1775 года собрался Второй провинциальный конгресс, на котором Салливан и Джон Лэнгдон были избраны депутатами на Второй Континентальный конгресс. По предложению Салливана было составлено прошение губернатору о созыве Ассамблеи Нью-Гэмпшира, но губернатор отказал и уволил Салливана из ополчения. Салливан прибыл в Филадельфию, когда уже стало известно о столкновениях с англичанами у Лексингтона и Конкорда и присоединился к тем, кто выступал за открытое вооружённое сопротивление.