Kallmann vokste opp i Halle an der Saale, men bodde som kunstner i Berlin fra 1930 til 1944. Han ble erklært som entartet av naziregimet med maleforbud i 1937. To av hans bilder er listet opp som beslaglagt. I 1949 fikk han tilbud om ansettelse ved universitetet i Caracas, Venezuela som professor i akt- og portrettmaleri. Han ble der i 3 år.