兵部尚书王学夔的儿子横行乡里，为地方一霸。屠大山把助他为恶的家丁都抓起来法办，令其改过读书。王学夔知道后不但没有生气，反而夸奖了屠大山。任徐州兵备道时，内阁首辅夏言的家仆路过徐州，大肆索要财物，屠大山把他抓起来打了一顿并赶走，夏言因此恨屠大山入骨。同年甘为霖当了工部尚书，曾拜托屠大山包庇一个贪污的同乡，屠大山没有答应，也遭致忌恨。
家庭.伯祖屠滽为吏部尚书，族叔屠侨为左都御史。祖父屠渭，父屠偁，母王氏。正室陆氏，是刑部尚书陆瑜的侄孙女，很早就去世了，继娶章氏，侧室陈氏。育有一子屠本