随后在后方羊蹄地区设立郡领，以统治虾夷。不久击败肃慎，俘虏49人而归。660年，阿倍率战船200艘讨伐肃慎，在大河遇到了肃慎军队，比罗夫请求渡岛的虾夷人援助。在渡岛人的帮助下，比罗夫在币贿弁岛成功击败了肃慎，献俘于天皇。662年，应百济的要求，天智天皇决定出兵援助百济。阿倍比罗夫被任命为后将军、征新罗将军，率倭军前往朝鲜半岛支援百济。次年，倭、济联军在白江口遇到罗、唐联军的袭击，大败而归。此次大败后，日本对新罗、唐朝在军事上持守势，阿倍比罗夫被任命为大宰帅，镇守九州北部，以防止新罗和唐朝的进攻。