אשר כיהן כמזכיר הפנים עד 1865. הוא נודע כמזכיר חביב, אדיב ולא בולט במיוחד. בנובמבר 1863 הוא התלווה ללינקולן לגטיסברג, פנסילבניה, לטקס הקדשת בית הקברות הלאומי, וישב על בימת הכבוד עם שאר הנכבדים כאשר נשא לינקולן את נאום גטיסברג המפורסם. כאשר התפטר ויליאם פיט פסנדן מתפקידו כמזכיר האוצר במרץ 1865, מינה לינקולן את יו מוקלוק מאינדיאנה במקומו. לינקולן לא היה מעוניין שיכהנו שני אנשים מאינדיאנה בקבינט. ב-8 במרץ הגיש אשר את התפטרותו שנכנסה לתוקף ב-15 במאי, חודש לאחר רצח לינקולן. במקומו של אשר מונה כמזכיר הפנים ידידו הקרוב של לינקולן, גיימס הרלאן. מינויו של הרלאן אושר על ידי הסנאט והוא כבר כיהן תחת הנשיא הבא, אנדרו ג'ונסון.