אביו, הנריק הופמן, היה צורף. אדה רמני החל את לימודיו בעיר הולדתו מישקולץ ובגיל תשע נתן כבר קונצרטים. הוא המשיך את השכלתו המוזיקלית בקונסרבטוריון של וינה אצל יוזף בהם, מייסד בית הספר לכינור בווינה, בין 1842 לבין 1845. בגיל עשרים חזר מווינה להונגריה כדי לקחת חלק במהפכת 1848 בהונגריה, שמכונה מלחמת העצמאות, והיה עוזרו של הגנרל ארתור גרגאי המפקד העליון של הצבא וגם הכנר האהוב עליו. כישלון המהפכה אילץ אותו להגר לחו"ל. הוא נסע לאמריקה דרך קונסטנטינופול, פריז, לונדון. הוא שב לאירופה ככנר מיומן, ובזמן קצר הקריירה שלו נסקה. הוא בא בקשר עם כמה מלחינים בולטים באותה תקופה, כולל בשנת 1852 כשלקח את ברהמס הצעיר לסיורי הקונצרט שלו. בשנת 1853 הצטרף לחברה של פרנץ ליסט בוויימאר. הוא גר זמן מה בלונדון בשנת 1854, שם זכה בתואר "וירטואוז החצר" מידי המלכה ויקטוריה, וכן זכה בתואר "כנר המלכה". הוא עזב לאמריקה בשנת 1855, ואחרי חמש שנים, בשנת 1860, חזר להונגריה תחת קבלת חנינה.