士骧的三哥杨士晟，字蔚霞、进士，官至崇明等知县；杨士骧在家排行第四；老五杨士琦，曾经是袁世凯内阁的成员，职务是“政事堂左丞”。也曾做过上海交通大学第一任校长。杨士琦的儿子杨毓珣在民国间曾任山东省省长一职，娶袁世凯的第四女为妻。杨士骧惧内，故不曾有平康之游，生前题联自嘲：「平生好读游侠传，到死不识绮罗香。」