Μετά την επίθεση των Γερμανών στην Ελλάδα και την συνθηκολόγηση, ο Καραβίας κατέφυγε στην Πάρο, τόπο καταγωγής της συζύγου του, και από εκεί διέφυγε στη Μέση Ανατολή. Εκεί διακρίθηκε στις επιχειρήσεις των Συμμάχων και στην Δεύτερη μάχη του Ελ Αλαμέιν ως υποδιοικητής τάγματος της 1ης Ταξιαρχίας. Στη συνέχεια, διετέλεσε διοικητής του 1ου Τάγματος της 3ης Ελληνικής Ορεινής Ταξιαρχίας του Ελληνικού Στρατού υπό τον συνταγματάρχη Θρασύβουλο Τσακαλώτο στη Μάχη του Ρίμινι, στην Ιταλία. Ο Καραβίας ηγήθηκε της επίθεσης στο Μοντιλιάνι και τη Μπελαρία και κατόρθωσε να καταλάβει το στρατιωτικό αεροδρόμιο του Ρίμινι ύστερα από σκληρή μάχη, συμβάλλοντας στην κατάληψη της πόλης στις 21 Σεπτεμβρίου 1944. Στις 27 Σεπτεμβρίου του 1944 ανέλαβε πάλι επιθετικές πρωτοβουλίες εναντίον της Γοτθικής Γραμμής και μετά από σκληρό αγώνα κατόρθωσε να περάσει τον ποταμό Ρουβίκωνα και να προωθηθεί αρκετά χιλιόμετρα εντός του γερμανοκρατούμενου εδάφους. Για τις νίκες αυτές η 3η Ορεινή Ταξιαρχία έλαβε το όνομα Ταξιαρχία Ρίμινι.