Al seu retorn a Espanya se li'n donà el comandament d'un exèrcit que havia de passar a l'Àfrica, on arribà amb 22.000 homes (juliol de 1775), però els àrabs tenien coneixement del que es preparava contra ells, de forma que no pogué sorprendre'ls com esperava. No obstant tot això, O'Reilly ordenà el desembarcament d'una divisió en l'espai comprès entre Alger i el riu Farache, on, a causa de la dificultat de fer avançar l'artilleria, els àrabs derrotaren als espanyols. Acudí llavors una segona divisió que sofrí la mateixa sort que la primera, veient-se obligat O'Reilly a emprendre la retirada i a reembarcar-se després d'haver sofert 1.500 morts, entre ells el marquès de la Romana i 3.000 ferits. Aquesta derrota, deguda a la seva imprevisió i poca habilitat, obrí contra ell una campanya en la cort, fins que Carles III d'Espanya, per fer-la callar l'allunyà de Madrid donant-li diferents càrrecs a províncies.