Pada saat pendaratan Sekutu, angkatan Jepang di Tarakan berjumlah 2.200 orang yang didatangkan dari Angkatan Darat Kekaisaran Jepang dan Angkatan Laut Kekaisaran Jepang. Satuan terbesar adalah Batalion Infantri Independen ke-455 yang berkekuatan 740 orang yang dikomandoi oleh Mayor Tadai Tokoi. 150 pasukan pendukung AD juga ada di Tarakan. Sumbangan AL kepada garnisun Tarakan tersusun atas 980 pelaut yang dikomandoi oleh Komandan Kaoru Kaharu. Satuan laut utama adalah Angkatan Garnisun Laut ke-2 yang berkekuatan 600 orang. Satuan laut ini dilatih bertempur sebagai infantri dan mengoperasikan beberapa senapan pertahanan pesisir. 350 pekerja minyak sipil Jepang juga diharapkan bertempur pada saat serangan Sekutu. Angkatan Jepang termasuk sekitar 50 orang Indonesia yang berdinas di satuan pengawal pusat. Mayor Tokoi mengarahkan keseluruhan pertahanan Tarakan, meskipun hubungan antara AL dan AD buruk.