京兆三原人。其祖父李崇义为后魏殷州刺史，封永康公爵位，故此李端以长子身份袭其爵位。父李诠，为隋赵郡守。其弟为唐代开国功臣李靖。由于李氏家族虔信佛教，兄弟取名皆出自佛教中的药王佛和药师佛（李靖，字药师）。《隋书》列传记载，开皇二十年（600），突厥达头可汗来犯，文帝命晋王杨广和杨素出征灵武（今宁夏灵武），又命汉王杨谅和河州刺史史万岁出征马邑（今山西朔县），李药王、柱国张定和、杨义臣等随史万岁率领出塞，至大斤山（今内蒙古大青山）与敌相遇，达头闻风而逃。李药王因功授大将军。《北史》又记载，随仁寿元年（60