兄文章中，错把“蛮夷”二字写成“夷蛮”，遭到塾师大声喝斥，徐孚远却说：“无害也，咎在周内史引人过犯。”塾师于是也想到《国语•周语上》:「夷蛮要服，戎狄荒服」有“夷蛮”这一说法，便愧疚的说：“记诵稍疏，乃为竖子边鼓挝人。”崇祯二年（1629年）与陈子龙、夏允彝、彭宾、杜麟征、周立勋等人组成文社畿社。崇祯十二年（1639年）乡试落第。崇祯十五年（1642年）中应天府乡试举人。南明弘光元年（1645年）五月，多铎派参将洪恩炳入驻松江，徐孚远与好友夏允彝、陈子龙、张密等人，计议起兵抗清，集数百忠义之士，由夏允彝写信