Fuldner ble født av tyske foreldre i Argentina, og i 1922 emigrerte familien tilbake til Kassel. Han ble medlem av SS og NSDAP i 1932, og jobbet også en periode i SS. I 1935 ble han beskyldt for å ha svindlet en forretningsmann i München, et rederi i Hamburg og SS, noe som førte til at han forsøkte å ta seg tilbake til Argentina. På vei til Argentina ble skipet hans stoppet utenfor kysten av Brasil, og han ble overført til et skip som tok han tilbake til Hamburg. Der var han fengslet en kort periode og ble kastet ut av SS i 1936, men ble året etter frikjent for beskyldningene om svindel.