סבא רבא של אמט, תומאס אדיס אמט, היה עורך דין שכיהן כיועץ המשפטי של מדינת ניו יורק. תומאס היה לאומן אירי שמילא תפקיד מרכזי בדבלין, לאחר המרד האירי בשנת 1798. אחיו הצעיר של תומאס - רוברט אמט, נתלה בשנת 1803 באשמת בגידה על ידי ממשלת בריטניה, בגלל חלקו במרד האירי. תומאס היגר לארצות הברית עם משפחתו זמן קצר לאחר הוצאתו להורג של אחיו.