Havadtőy magyar szülők gyermekeként született Londonban. A család 1956 elején hazatért Magyarországra, ahonnan a forradalmat követően csak nagy nehézségek árán tudtak visszamenni Nagy-Britanniába. Végül is 1971-ben illegális úton sikerült elhagynia az országot és Jugoszlávián keresztül visszament Londonba. Itt ismerkedett meg az angol régiségkereskedő és lakberendező Stuart Greettel, akinek a meghívására költözött Havadtőy New Yorkba 1972-ben, ahol megszakításokkal 2000-ig élt. 1978-ban létrehozta a lakberendezéssel foglalkozó Samuel Havadtoy Galleryt. Az 1980-as évek elején bekapcsolódott a New York-i művészéletbe, ahol a legkiválóbb művészekkel dolgozott együtt. Szoros baráti viszonyba került Warhollal, Haringgel, George Condóval, Donald Baechlerrel és sok más művésszel. Köztük Yoko Onóval is, akivel élettársi kapcsolatban élt húsz éven keresztül. Havadtőy inspirálólag hatott Keith Haring több késői munkáira és azok megvalósításában is segédkezett – pl. Haring bronz szárnyasoltárai kivitelezésében jelentős szerepe volt.