HashMap - не потокобезопасный.
Используйте потокобезопасные коллекции, например http://docs.oracle.com/javase/7/docs/api/java/util/concurrent/ConcurrentHashMap.html