鼐从军。后与弟弟杨文瓒一起前往福建谒见隆武帝朱聿键，隆武帝以其奏对称旨，命为泉州府惠安县训导，不久升为监纪推官。清军入闽后，隆武帝被害，杨氏兄弟知事不可为，返回故里。
翻城之役.鲁监国二年（1647年），华夏、王家勤、杨文琦、董德钦等反清义士，齐聚于屠献宸家中，联络打算反正的清军将领陈天宠、仲谟等，商量起义。杨文琦等潜入舟山，往见鲁王监国朱以海，请求派兵协助，鲁王命为监军佥事，令张名振等率兵往助；杨文琦又与抗清义军领袖王翊有旧交，专门负责接应该路明军。但不幸被居乡的降臣谢三宾等告发