Sønnen av en bonde gikk på folkeskolen i syv år og på videregående skole i tre år. Deretter arbeidet han i foreldrenes landbruksbedrift, som i 1907 hadde flyttet til Zusmarshausen. Remmele var gift, og ekteskapet resulterte i to barn. Den 1. april 1930 meldte han seg inn i NSDAP (medlemsnummer 217.435), og den 1. august 1932 ble han medlem av SS (SS-nummer 41.969).