Den første henvisning til navnet Fugger i Augsburg finnes i skattelistene fra 1357, hvor Hans Fugger var oppført. Hans eldste sønn, Andreas, ble rik på tekstilhandel og eiendomsinvesteringer, men hans sønn igjen, Lucas Fugger, satte formuen over ende. Denne slektsgrenen, , døde ut i 1494.