Flera beväpnade män stormade Corinthia Hotel och öppnade eld i receptionen. En bilbomb exploderade också i närheten.
Obekräftade rapporter säger att några av angriparna har sprängt sig själva. Tjänstemännen säger att de döda inkluderar en amerikansk och en fransk medborgare.
Säkerhetsstyrkorna säger att dödläget nu har upphört.
Det amerikanska departementet har bekräftat en amerikansk medborgares död, utan att ge några ytterligare detaljer. Den döde amerikanen tros ha varit en säkerhetsentreprenör.
Den franska medborgaren uppges ha arbetat för Libyens Buraq Air.
Det finns motstridiga rapporter om det totala antalet angripare.
Ett Twitter-konto kopplat till Islamiska staten sa att den militanta gruppen hade utfört attacken.
Det har funnits starka bevis för att det finns en IS-närvaro i den östra libyska staden Derna sedan oktober, med en grupp där som offentligt förklarar sin ledare Abu Bakr al-Baghdadi trohet.
Men kommandostrukturen är fortfarande ett mysterium för de flesta utländska observatörer.
BBC: s Rana Jawad i Tripoli säger att det under den senaste månaden har förekommit en rad incidenter i västra Libyen, inklusive bortföranden och bombningar, som har hävdats av IS sociala medier konton.
Men hon säger att det inte tydligt har fastställts om dessa grupper är IS-fotsoldater eller människor inspirerade av dem.
En civilperson som bevittnade attacken sade till BBC: " Jag hörde plötsligt skott och såg människor springa mot mig, och vi flydde alla från baksidan [av hotellet] genom det underjordiska garaget. Hotellet låste in sig efter det."
Analys: BBC:s Rana Jawad i Tripoli
Den militanta gruppen Islamiska staten har tagit på sig ansvaret för attacken på Corinthia Hotel, som var bostad Omar al-Hassi, premiärminister i Tripolis självutnämnda regering, och de provisoriska kontoren av ett okänt antal utländska företag. Även om detta inte kan verifieras med absolut säkerhet, tyder belägringens brutalitet och stil på att det var extremisternas arbete med att rikta in sig på utlänningar.
Libyen befinner sig i ett politiskt kaos med ett säkerhetsvakuum och det finns få tillförlitliga källor att kontrollera fakta med.  En dag då Tripoli bevittnade denna fräcka och dödliga attack ställdes reportrar inför uttalanden från konkurrerande politiska block som till synes försökte utnyttja händelsen.
Al-Hassi hävdade att han var målet. Den valda regeringen i öst kommer att använda den för att göra anspråk på att bredda sitt ingripande mot islamistiska grupper - vilket en del skyller på att ytterligare radikalisera några av dem.
Vad den har visat är att detta laglösa land gör det lätt för extremistiska grupper att svamp.
Olika källor på platsen sade att det fanns mellan tre och fem angripare - bilder som släpptes senare på tisdagen visade kroppen av en man som rapporterades vara en av de militanta.
En källa sa till BBC att en revolverman hade gripits. Fyra säkerhetsvakter är bland de döda och flera personer rapporteras vara skadade.
En hotellanställd berättade för nyhetsbyrån Associated Press att hotellet mestadels var tomt vid tidpunkten för attacken.
Samtidigt berättade en hotell säkerhetskälla för BBC att hotellet hade fått ett hot "för några dagar sedan" varning chefer "att tömma byggnaden".
Att bo i de få utlänningar som stannar kvar i den libyska huvudstaden har länge varit känt för att vara riskabelt, säger vår korrespondent.
Corinthia Hotel används av utländska diplomater, regeringstjänstemän och utländska företag. FN:s stöduppdrag i Libyen (Unsmil) har varit värd för flera workshops på hotellet.
Libyens internationellt erkända premiärminister Abdullah Al-Thinni fördömde attacken och lovade att de ansvariga för den skulle ställas inför rätta.
Federica Mogherini, EU:s utrikeschef, fördömde också det angrepp som ägde rum som en andra omgång fredsförhandlingar mellan Libyens stridande fraktioner slutade i Genève i vad FN beskrev som en "positiv atmosfär".
Twitter-kontot kopplat till IS sa att gruppen hade genomfört attacken som hämnd för Abu Anas al-Libys död, en libysk jihadist som misstänktes vara inblandad i bombningarna av två amerikanska ambassader i Östafrika 1998.
Liby dog på ett amerikanskt sjukhus den 2 januari, dagar innan han skulle ställas inför rätta.
Libyen har drabbats av instabilitet efter störtandet av överste Muammar Khadaffi under lång tid i oktober 2011.
Många miliser styr sina egna områden, och konkurrerande regeringar i Tripoli och öst kämpar för att utöva kontroll.
Militanter har attackerat ett hotell i den libyska huvudstaden Tripoli och dödat minst nio personer inklusive fem utlänningar, säger tjänstemän.