Johann Geiler ble født i Schaffhausen som sønn av kansellinotaren Hans Geiler, som i 1446 ble bynotar i Ammerschweier (Ammerschwihr). Etter farens død i 1449 vokste Johann opp hos sin bestefar i Kaysersberg i Elsass; derav navnetillegget.