Bernardim Freire naît à Lisbonne le 18 février 1759, pendant la période de despotisme éclairé du marquis de Pombal. Issu d'une vieille famille noble d'officiers, il est le fils de Fernando Martins Freire de Andrade e Castro, chef de lignage ("morgado") de la Ribeira do Sado e do Bom Despacho, et de Joana de Lencastre Forjaz, une aristocrate de la haute noblesse de cour. Parmi ses aïeux, le maître-de-camp Bernardino Freire de Andrade s'est distingué au comme héros militaire pendant la période de la guerre de Restauration contre l'Espagne. Le fils de ce dernier, Gomes Freire de Andrade (1685-1763) a obtenu le titre de premier comte de Bobadela au terme d'une brillante carrière au Brésil comme gouverneur du Minas Gerais et de Rio de Janeiro (1733-1763). Un de ses cousins éloignés, Gomes Freire de Andrade (1774-1831), troisième comte de Bobadela, finit sa vie comme capitaine de cavalerie, garçon "fidalgo" et pair du royaume. Son oncle António Ambrósio Pereira Freire de Andrade e Castro est un proche du marquis de Pombal, ambassadeur du Portugal à la cour autrichienne, très actif lors de la campagne contre les jésuites, et père de son général Gomes Freire de Andrade e Castro (1757-1817). Il est également le cousin de D. Miguel Pereira Forjaz, le comte de Feira, de dix ans son cadet.