魏博节度使乐彦祯聘为从事，以文才名于当时。光启二年，嗣襄王李煴称帝，彦祯派遣山甫出使镇州拜会成德军节度使王镕，计划联合幽、邢、沧诸镇同盟以拒煴，但其事未成。李山甫由于仕途失意，颇怨恨中朝贵达。中和四年（884年）十二月，宰相王铎出京担任义昌军节度使，途经魏州，山甫竟唆使乐彦祯之子乐从训伏兵于高鸡泊（今河北故城西南），突袭劫掠，王铎及家属吏佐等三百馀人皆遇难。后不知所终。有《李山甫诗》一卷，已佚。