二年，蜀建兴六年），诸葛亮出兵祁山，中郎姜维及功曹梁绪、主簿尹赏、主记梁虔等正与马遵同行，马遵害怕姜维等人通敌，逃回上邽，且不让后到的姜维入城，迫使姜维等人投靠了诸葛亮。后因此败被陇西郡太守游楚受重罚。
三国演义.在历史小说《三国演义》中，马遵于诸葛亮北伐时，依姜维的作战击退蜀军。但诸葛亮以假扮的姜维佯装背叛的模样，使马遵对真的姜维心生疑虑而导致其降服于蜀。之后遭到蜀军的进攻，与夏侯楙一同逃往羌。