Lošinj har sannsynligvis vært bebodd siden antikken, og det ligger festninger ved foten av Osoršćica og rundt havna i Mali Lošinj. Romerne kalte øya (Ptolemaios), og øyene Lošinj og Cres i sammen ble kalt . Flere steder har det blitt gravd ut romerske villaer. Flere små eremittkirker fra romertiden har blitt bevart (St. Lovreć nær Osor, og St. Jakov i Sveti Jakov). I middelalderen var Lošinj eid av den geistlige adelen i Osor og var ikke bebodd.