Según su hermano, Irving habría sido un provocador y un bromista desde su juventud: «A los 6 años de edad ya hacía el saludo nazi».