В июле 1941 года, после начала операции «Барбаросса», он вместе с частями вермахта вернулся в Латвию. С 1 июля в Кулдиге организовывал местный отряд самообороны. Первые дискриминирующие (запрет торговли) и репрессивные (аресты, при проведении которых были и первые жертвы) меры против евреев Кулдиги были приняты именно по приказу Целминьша.