读书，结交文人朋友。父亲死后他承袭城阳公爵位。他与王珪交好，隋朝大业初年（605年），王珪受叔父王颇连累而被流放，李安远为他四处营护，得以幸免。李安远后以功臣之子授绛州正平县令（在今山西省新绛县龙兴镇）。隋炀帝举全国之兵征讨高句丽失败，引发国内大乱。李渊在太原起兵，发义兵攻绛郡（绛州），李安远与通守陈叔达据城自守。城破后，李渊因与李安远有旧，就上门招降，与他一同吃饭，任命他为银青光禄大夫、绛郡太守，又授右一统军（即行军总管），封正平县开国公。隋骁卫大将军屈突通镇守河东，阻断唐军西进之路。唐军围攻不下