Riktmärket Nikkei 225 lades ned 3 % vid 16.883.19 punkter - dess värsta dag sedan mars.
Det amerikanska oljepriset föll under den symboliska tröskeln på 50 dollar per fat för första gången sedan april 2009.
Under tiden i London föll Brent råa så lågt som 53 dollar per fat.
Detta fick energiandelarna att falla.
Oron över Greklands framtid vägde också på euron, som låg nio år lågt jämfört med dollarn.
Kinesiska aktier återhämtade sig tidigare förluster efter en privat undersökning visade att landets tjänstesektor ökade i sin snabbaste takt under tre månader i december.
Shanghai Composite slutade stänga lägenhet på 3.351.45 efter att falla så mycket som 1,3% tidigare på dagen.
I Hong Kong slutade jämförelseindexet Hang Seng ner med 1 % till 23 485,41 till följd av den globala trenden.
I Australien reagerade investerarna också på de fallande oljepriserna och oron i euroområdet, där riktmärket S&P/ASX 200 lades ned 1.57% vid 5.364.80 punkter.  Tidigare på dagen sjönk indexet så mycket som 1,9 % - en av dess största nedgångar på mer än en månad.
Ett företags aktier såg en positiv reaktion på fallande oljepriser, dock, med Qantas, Australiens nationella flygbolag, ser sin aktiekurs på en fyra år hög under tisdagssessionen.
Australiens senaste handelssiffror visade att landets underskott ökade i november från oktober till omkring 950 miljoner australiska dollar (770 miljoner dollar). Det är det åttonde handelsunderskottet i rad.
Men analytiker sade investerare i stor utsträckning ignorerade siffrorna, som var mindre än väntat och delvis på grund av fallande priser på resurser som järnmalm.
Tristan K'Nell, chef för handeln på Quay Equitys, sade att det fanns ett antal frågor världen över som orsakar osäkerhet på aktiemarknaderna.
"Investerare bevakar noga... USA:s räntor, tillväxtnedgångar i Europa och Asien Stillahavsområdet, politisk osäkerhet i Grekland, geopolitiska frågor mellan Ryssland och Ukraina och även Mellanöstern, och volatilitet och sjunkande priser på råolja och järnmalm, sade han.
I Sydkorea lade Kospi ned 1,74% till 1.882.45 poäng, med andelar i energiföretag som ledde nedgången i oljepris oro.
Japans aktier ledde faller över Asien på tisdag, publicera sin största minskning på nästan 10 månader, som investerare orolig för fallande oljepriser och politisk turbulens i Grekland.