Hijo del novillero Antonio Rivera Alvarado (17 de febrero de 1920 – 10 de noviembre de 2009) quien era el encargado del matadero municipal de Barbate, donde Paquirri y su hermano el también matador José Rivera «Riverita» comenzaron a torear.