Nació en El Puerto de Santa María en 1771, era hijo del capitán Martín de Garay y Martínez de Villela, de Acha y Hernando de Avendaño y de Sebastiana Perales y Franco, Mercado y Fernández de Moros, hija del barón de la Torre.