任徐州兵备道时，内阁首辅夏言的家仆路过徐州，大肆索要财物，屠大山把他抓起来打了一顿并赶走，夏言因此恨屠大山入骨。同年甘为霖当了工部尚书，曾拜托屠大山包庇一个贪污的同乡，屠大山没有答应，也遭致忌恨。
家庭.伯祖屠滽为吏部尚书，族叔屠侨为左都御史。祖父屠渭，父屠偁，母王氏。正室陆氏，是刑部尚书陆瑜的侄孙女，很早就去世了，继娶章氏，侧室陈氏。育有一子屠本畯和五个女儿，其中一女嫁给兵部右侍郎范钦的儿子范大冲，结为亲家。