Non si conosce la sua data di nascita, da situarsi ad ogni modo entro la metà del secolo XV, in quanto già nel 1467 Scaramuzza partecipava all'epocale battaglia di Molinella. Durante la cosiddetta guerra del Sale (1482-1484), venne catturato dai veneziani mentre combatteva al soldo del duca di Ferrara Ercole I d'Este e condotto prigioniero a Venezia. Militò soprattutto agli stipendi del duca di Milano Galeazzo Maria Sforza, e successivamente di Ludovico Maria Sforza, assumendo per conto di quest'ultimo varie luogotenenze durante le guerre d'occupazione francese.