natgillin/translations-raw huggingface dataset:
Например ако методологията за оценка не анализира нивото на удовлетвореност на обучаваните или същинското обучение, а целта е да се проучи поведението на бившите университетски възпитаници като група, може да изглежда, че поведението не се е променило.
For instance, if the evaluation methodology fails to analyse the trainees’ satisfaction level, or the learning proper, and the target is to examine the former graduates’ behaviour as a group, it might seem that behaviour has not changed.
Следователно може да се допусне, че обучаваните не са научили нищо и че обучението е било неефективно.
Therefore, it might be assumed that the trainees have not learned anything and that the training was ineffective.
Но самият факт, че поведението не се е променило до даден момент, не означава, че обучаваните не са научили нищо.
However, just because behaviour has not changed up to a certain moment, it does not mean that trainees have not learned anything.
От полза е да се проучат нива 1 и 2, за да се определи изходната точка на техния обучителен процес, и после тяхната работна среда, за да се провери дали средата на тяхното работно място благоприятства прилагането на целевото професионално поведение.
It is beneficial to examine levels 1 and 2 to determine the starting point of their training process and then their working environment to check whether their workplace environment is conducive to applying the targeted professional behaviour.
Прилаганите ценности и професионално поведение зависят от преобладаващите човешки и професионални условия в съдилищата и прокуратурите.
Applied values and professional behaviour are dependent on the prevailing human and professional conditions in courts and prosecution offices.
Най-добрите начини за измерване на поведението са:
The best ways to measure behaviour are:
1. провеждане на наблюдения;
1. to conduct observations;
2. провеждане на интервюта във времето.
2. to conduct interviews over time.
Ефективното измерване на поведението може да бъде предизвикателство.
It can be challenging to measure behaviour effectively.
Това е дългосрочна дейност, която следва да се провежда месеци след началното обучение.
This is a longer-term activity that should take place months after the initial training.
Дали обучаваните използват нещо от наученото, дали са способни да говорят за своите знания, умения или отношения към други хора, дали обучаваните осъзнават евентуалните промени в своето поведение и т.н., би могло да се оцени, като се използват въпросници.
Whether the trainees put any of their learning to use, whether the trainees are able to talk about their new knowledge, skills, or attitudes to other people, whether the trainees are aware of any change in their behaviour, and so on could be assessed using questionnaires.
Ниво 4 от модела на Къркпатрик
Level 4 of Kirkpatrick’s Model
Ниво № 4 е за оценка на резултатите, т.е. в съдебния контекст, оценка на ефекта, който работата на съдиите и прокурорите има върху гражданите и върху функционирането на съдилищата и прокуратурите.
Level 4 is about results evaluation, i.e. in the judicial context, an evaluation of the effect that the work of judges and prosecutors has on citizens and on the functioning of the courts and prosecution offices.
Но трайното въздействие на дадена програма или отделно мероприятие за обучение на работното място може да бъде измерено и като се посочват промените и подобренията, които са настъпили в даден съд или прокуратура след провеждането на обучението.
But the lasting impact of an in-service training programme or single event can also be measured by highlighting the changes and amendments which have occurred in a given court or prosecution office subsequent to training delivery.
Така на това ниво се анализират крайните резултати от обучението.
So at this level, the final results of the training are analysed.
Това включва резултатите, които са определени като положителни за съдиите и прокурорите или за крайната цел.
This includes outcomes that are determined to be positive for the judges and prosecutors, or for the bottom line.
Събраната информация се отнася за ефекта върху това, което правят на работното място (обучавани, новоназначени или с дългогодишен стаж) съдии и прокурори, които са били обучени.
The information collected is about the effect on what (trainee, newly appointed or seasoned) judges and prosecutors who have been trained do in the workplace.
До известна степен това е дългосрочно оценяване, когато и ако е необходимо.
It is a somewhat long-term assessment, when and if it is needed.
От всички нива измерването на крайните резултати от обучението вероятно е най-скъпо и времеемко.
Of all the levels, measuring the final results of training is likely to be the most costly and time consuming.
Най-големите предизвикателства са да се установи кои изходни резултати, ползи или крайни резултати са най-тясно свързани с програмата за обучение, и да се разработи ефективен начин за измерване на тези изходни резултати в дългосрочен план.
The biggest challenges are identifying which outcomes, benefits, or final results are most closely linked to the training programme, and coming up with an effective way to measure these outcomes over the long term.
Пример: Ето тук някои изходни резултати за разглеждане в зависимост от целите на вашето обучение:
Example: Here are some outcomes to consider, depending on the objectives of your training:
• По-добро поведение в контактите с колеги и трети лица;
• Better behaviour in contact with colleagues and third parties;
В текущото обучение резултатите трябва да бъдат измервани само ако ползите са ясни и получаването им е важно.
In continuous training, results are to be measured only if the benefits are clear, and obtaining them is important.
Например когато има голяма промяна на правните разпоредби, оценяването на резултатите е толкова важно колкото и оценката на поведението.
For instance, when there is a major change in terms of legal regulations the assessment of results is as important as the assessment of behaviour.
Предимства и недостатъци
Advantages and disadvantages
Когато става дума за прилагането на конкретен модел, съществуват предимства и недостатъци, които трябва да бъдат отчетени.
When coming to the application of a concrete model there are advantages and disadvantages to be considered.
Що се отнася до недостатъците, въпреки че моделът на Къркпатрик от четири нива за оценка на обучението е популярен и широко използван, съществуват редица съображения, които трябва да бъдат взети под внимание, когато се използва този модел.
In terms of disadvantages although Kirkpatrick’s Four-Level Training Evaluation Model is popular and widely used, there are a number of considerations that need to be taken into account when using the model.
 Може да е много времеемък.
• It can be time-consuming.
 Може да е скъпо да се използват нива № 3 или 4 от модела.
• It can be expensive to use levels 3 or 4 of the model.
Това е случаят по-специално на организации, които нямат специална програма за обучение и следователно нямат методология за оценка, която да включва тези видове процедури в организирана форма.
This is especially the case for organizations that do not have a dedicated training programme and consequently lack an evaluation methodology to include these types of procedures in an organized way.
Аналогично, може да е скъпо и ресурсоемко използването на ресурси за събиране на данни с единствената цел да се оценяват поведението и резултатите от програмата.
Similarly, it can be expensive and resource intensive to use resources to collect data for the sole purpose of evaluating behaviour and programme results.
Тези видове интервенции следва да се използват главно когато съдебният контекст се нуждае от информация за промяна или когато други видове стратегически оценявания показват, че поведението следва да се оценява, за да се види дали ценностите на съдиите и прокурорите, и по-възможност европейските ценности, се отразяват в професионалното поведение.
These types of interventions should be used mainly when the judicial context needs information for a change, or when other types of strategic assessments show that behaviour should be assessed to see whether the values of judges and prosecutors, and possibly European values, are reflected in professional behaviour.
Що се отнася до предимствата, преди всичко училищата и обучаващите институции се променят по много начини и много бързо.
In terms of advantages, most importantly, schools and training institutions change in many ways and at a high speed.
Поведението и резултатите се променят вследствие на подобни промени, както и на обучение.
Behaviours and results alter as a consequence of such changes, as well as of training.
Например общите цели за съдиите и прокурорите в Европа от перспективата на общите ценности може да донесе промяна, която би могла да се оцени във всяка държава.
For instance, the common goals of the judges and prosecutors in Europe from the perspective of common values might bring in a change that could be assessed in each country.
Моделът на Къркпатрик е чудесен като опит обучението да бъде оценено „научно“.
Kirkpatrick’s model is great for trying to evaluate training in a “scientific” way.
Ето защо той е полезен само ако се разглежда като модел за създаване на методология за оценка с включени специални цели и резултати.
This is why it is useful only if it is considered as a model to devise an evaluation methodology with specific objectives and results built in.
Настоящата таблица илюстрира основната структура на Къркпатрик33 накратко:
This grid illustrates the basic Kirkpatrick33 structure at a glance:
Ниво
Level
КАКВО се измерва?
WHAT is being measured?
ЗАЩО?
WHY?
КАК?
HOW?
Степента на удовлетвореност на участника предоставя информация за връзката между обучител и обучаван, за управлението на съдържанието, съответствието с нивото на подготвеност на обучавания и т.н.
The degree of participant satisfaction
Тя дава доста информация за обучаваните, тъй като техните реакции показват какво е ценно за тях като индивиди.
provides information about the bond
Като се използват:
Reaction evaluation is
въпросници;
Questionnaires.
формуляри за обратна информация;  словесни реакции.
Verbal reactions.
Вземат се под внимание знанията, уменията и поведението, когато се подготвя учебният процес.
and behaviour are considered when a central process in initial
Листовки за самооценяване
Self-assessment hand-
Листове за наблюдение
well structured to obtain
3
outs.
Поведение
Behaviour
Начинът, по който в съда и прокуратурата се възприема работата и дейността на съдиите и прокурорите, е оценка, която взема под внимание различни представи на равнището на всекидневния професионален живот.
The way in which the work and activity
Доклади на управлението
Management reports
Тази теоретична рамка би могла да бъде полезна, когато се създава методология за оценка, тъй като всяка обучаваща институция трябва да се придържа към набор от стандарти и е заинтересована от измерване на качеството на програмите за обучение.
This theoretical framework could be useful when designing an evaluation methodology as each training institution needs to adhere to a set of standards and is interested in the quality measurement of training programmes.
Методологията за оценка може да бъде на четири нива или просто да проучва нивото на удовлетвореност на участващите съдии и прокурори.
The evaluation methodology can be four-layered or simply examine the satisfaction level of participating judges or prosecutors.
Във всеки случай обаче е решаващ начинът, по който се създават и администрират инструментите за оценка.
In any event, though, the way in which the evaluation instruments are constructed and administered is decisive.
Четирите нива представляват последователност от начини за оценка на програмите за обучение.
The four levels represent a sequence of ways to evaluate training programmes.
Преминавайки от едно ниво към следващото, процесът става по-труден и времеемък.
As you move from one level to the next, the process becomes more difficult and time consuming.
Но и дава по-ценна информация.
But it also provides more valuable information.
Изграждането на тази верига от данни е много важно.
Building this chain of evidence is very important.
Тя се състои от данни и информация, които свързват последователно четирите нива и показват с какво е допринесло обучението34.
A chain of evidence consists of data and information that sequentially connect the four levels and show the contribution learning has made33.
НАБОР ОТ ИНСТРУМЕНТИ ЗА ОЦЕНКА
The evaluation Kit
Един ефективен набор за оценка следва да включва следните инструменти:
An effective evaluation kit should comprise the following instruments:
• въпросници (оценяване на нуждите от обучение; оценяване на учебния процес; оценяване на резултатите от обучението; оценяване на обучителя);
Questionnaires (assessing training needs; assessing the training process; assessing training results; assessing the trainer);
• формуляри за обратна информация;
Feedback forms;
• интервюта;
Interviews;
• листове за наблюдение;
Observation sheets; 5.
• методи за самооценяване.
Self-assessment methods.
Въпросници
Questionnaires
Това е най-често използваният метод за оценка.
This is the most commonly used evaluation method.
Всяка институция има своя собствена „форма за оценка“, обикновено използвана за непосредствена оценка на мероприятие, като измерва най-вече степента на удовлетвореност по отношение на постигането на индивидуалните учебни цели/очаквания, материали, организация, материална база, ръководител на сесията, компетентност на лектора/модератора, техники за обучение, силни и слаби страни на мероприятието и препоръки.
Every institution has its own “evaluation form”, generally used to immediately evaluate an event, mostly measuring the degree of satisfaction in relation to achievement of individual learning goals/expectations, materials, organization, facilities, session director, lecturer’s/facilitator’s competence, training techniques, strong and weak points of the event, and recommendations.
Те се използват за събиране на данни за обучителя, обучаваните, конкретното учебно мероприятие и т.н.
They are used to collect data about the trainer, the trainees, the particular training event, and so on.
Що се отнася до съдържанието, въпросникът може да се използва за обща оценка чрез проверка, за да се види дали целите на обучението са постигнати и да се измери наученото (ако е приложимо).
As regards the content, the questionnaire may be used for general evaluation by checking to see if the training goals have been met and measuring the learning (if applicable).
Целевата група.
The target Group.
Въпросниците могат да са предназначени за:
Questionnaires may be intended for:
• обучаваните,
• trainees,
• лекторите/модераторите,
• lecturers/facilitators,
• ръководителя на сесията.
• the session director.
Въпросниците, предназначени за втората и третата категория специалисти, следва да се съсредоточават в по-голяма степен върху конкретни резултати, а не да се използват общи въпроси към участниците.
Questionnaires intended for the second and third category of professionals should be focused more on specific outcomes rather than use the generic questions for participants.
От лекторите/модераторите следва да се поиска да отговорят на въпроси за отношенията с обучаващата институция (лицето, отговорно за мероприятието, административен персонал, среден и висш мениджмънт); налично оборудване и технически ресурси (материална база, компютър, имейл, библиотека); комуникация между обучителите; използвани методи за обучение; материали; постигане на целите на обучението; учебни постижения; качество на участието на обучаваните (активно или пасивно участие, начална степен на знания, взаимодействие между обучаваните и обучителите).
The lecturers/facilitators should be requested to answer questions about relationships with the training institution (person responsible for the event, administrative staff, middle and senior management); equipment and technical resources available (facilities, computer, email, library); communication between trainers; training methods used; materials; achievement of training goals; achievement of learning; quality of trainees’ participation (active or passive participation, starting knowledge level, interaction between trainees and with the trainers).
От организатора на обучението/ръководителя на сесията следва да се поиска да съобщи дали мероприятието е постигнало целите си или не, дали материалът е научен и за предприети последващи действия.
The training organizer and/or the session director should be requested to report whether or not the event met its objectives, whether lessons were learned, and any follow-up action taken.
Съставяне на въпросник
The design of a questionnaire
От структурна гледна точка въпросникът може да бъде съставен от:
From the structural point of view, a questionnaire may be designed with:
• отворени въпроси,
• open questions,
• въпроси с множествен избор на отговор,
• multiple choice questions,
• затворени въпроси (допустими са само отговори „да“ или „не“).
• closed questions (only “yes” or “no” answers allowed).
Отворени въпроси.
Open-questions.
Повече информация може да се получи чрез отворени въпроси.
More information can be obtained through open questions.
Имайте предвид, че мненията могат да варират и да бъдат дадени неочаквани отговори.
Take into consideration that opinions may vary and unexpected answers may be given.
Полезният анализ на отворените въпроси изисква време, ресурси и експертен опит.
Useful analysis of open answers requires time, resources and expertise.
Отворените въпроси следва да бъдат запазени за въпросници, насочени към обучители и модератори, предназначени да измерят ученето (т.е. ефективността на обучението при подобряването на знанията на участниците).
Open questions should be reserved for questionnaires aimed at trainers and facilitators and intended to measure learning (i.e. the effectiveness of the training in improving participants’ knowledge).
Ако е необходима категоризация, следва да има категоризиращи въпроси относно възраст, пол, степен на подготвеност, специализация.
If categorisation is needed, there should be categorisation questions about age, sex, level of readiness, specialization.
Структурирани въпроси.
Structured questions.
Структурираните въпроси проверяват знания или факти и измерват реакции.
Structured questions test knowledge or facts, and measure reactions.
Ако са нужни повече входни данни, се използват въпроси с отворен край.
If more input is needed, open-ended questions are used.
Участниците са свободни да дадат всякакъв отговор.
Participants are free to give any answer.
Напр.: Каква информация следва да бъде включена в ...?
E.g.: What information should be included in...?
Скала За оценяване на уменията, поведението, за измерване на реакциите може да се използва точкова скала до 7 или 9.
To assess skills, behaviours, measure reactions, a 7 or 9 point scale can be used.
• Изслушваше добре 1 2 3 4 5 6 7 Не изслушваше.
• Listened well 1 2 3 4 5 6 7 Did not listen.
• Прояви гъвкавост по време на семинара 1 2 3 4 5 6 7 Не прояви гъвкавост.
• Showed flexibility during the seminar 1 2 3 4 5 6 7 Did not show flexibility.
Въпроси във формат на Ликерт.
Likert-type questions.
За оценяване на уменията и отношенията могат да се използват и въпроси във формат на Ликерт35.
To assess skills and attitudes, Likert-type questions34 can also be used.
Напр.: Моля, посочете вашето мнение за новата дисциплинарна процедура, като направите отметка в съответната кутийка: Лесна за разбиране: напълно съгласен/съгласен/не съм сигурен/несъгласен/напълно несъгласен.
E.g.: Please indicate your views on the new disciplinary procedure, by ticking the appropriate box: Easy to understand: strongly agree / agree / not sure / disagree / strongly disagree.
ПРЕПОРЪКИ
RECOMMENDATIONS.
За да получите максимално добри резултати, препоръките са:
To obtain best results, recommendations are to:
10. избягвайте хипотетични въпроси (проучвайте впечатления);
10.
12.
11.
(инструкциите за попълване на въпросниците).
Pay attention to details (instructions for completing the questionnaire).
Формуляри за обратна информация
Feedback Forms
Ефективната обратна информация обикновено е словесна и се получава веднага след приключване на учебното мероприятие или когато индивидуалният процес на учене се нуждае от нея с цел подобряване.
Effective feedback is usually verbal and it takes place as soon as the training event is over, or as soon as the individual learning process needs it for improvement.
Може да се използва формуляр за обратна информация и ако няма достатъчно време.
A feedback form can also be used if there are time constraints.
Формулярите за обратна информация са основани на критерии.
Feedback forms are criteria based.
Критериите се определят от доставчика на обучението или от самия обучител, за да се подобри обучението и да се отговори на нуждите на обучаваните.
The criteria are set by the training provider or the trainer himself in order to improve the training and meet the needs of trainees.
В края на всеки ден от обучението може да се използва опростен формуляр за обратна информация, използващ твърдения, като два въпроса, по които искате да научите повече, нещо, което трябва да бъде допълнително изяснено, нещо, което искате да приложите, нещо, което не беше важно и т.н.
At the end of each training day, a simple feedback form can be used using statements such as two issues that you need to know more about, something that needs further clarification, something that you want to apply, something that was not relevant, etc.
Интервюта
Interviews
Има няколко типа интервюта:
There are several types of interviews:
• структурирани
• structured
• полуструктурирани
• semi-structured
• неструктурирани интервюта.
• unstructured interviews.
Те могат да се проведат, след като обучението се е състояло.
They may be conducted after the training has taken place.
Могат да се проведат лично или по телефона.
They may be conducted face-to-face or by phone.
Този метод е особено полезен, когато целта е да се събере подробна информация по сложни или нови въпроси.
This method is particularly useful when the aim is to gather detailed information on complex or new issues.
Оценителят.
The evaluator.
Оценителят следва да е обучен да провежда интервюта.
The evaluator should be trained to conduct interviews.
Целевата група следва да бъде ограничена (подгрупа, представителна за посетилите мероприятието).
The target group should be limited (a sub-group, representative of the training event’s attendees).
Необходимо е основно оборудване (като магнетофон).
Basic equipment (like a voice recorder) is needed.
Анализът на отговорите изисква време и ресурси.
Analysis of answers requires time and resources.
Интервютата са полезни винаги когато има оценяване в рамките на процедура за подбор.
Interviews are useful whenever there is an assessment within a recruitment procedure.
Подборът на кандидати се основава главно на интервюта.
The recruitment of any candidate relies mainly on interviews.
Като първа стъпка интервюиращите трябва да проверят какво търси обучаващата институция, целевия профил.
As a first step, interviewers need to check what the training institution is looking for, the target profile.
Структура на интервюто: Обикновено интервютата продължават от 30 до 60 минути.
The structure of the interview: Typically interviews are for 30 or 60 minutes.
Основното е интервюиращият да контролира разговора.
The key is that the interviewer should be controlling the conversation.
Доброто интервю следва да се възприема като (насочен) разговор, но през повечето време следва да говори кандидатът.
A good interview should feel like a (guided) conversation, however the candidate should be doing most of the talking.
Въпросите в интервюто следва да бъдат свързани само с конкретната работа.
The interview questions should only be job-specific.
Интервюто може да е полезно на всяко от четирите нива на дадена методология за оценка.
An interview can be useful at each of the four levels of an evaluation methodology.
Въпросниците обаче са по-лесни за използване, тъй като отнемат по-малко време.
Questionnaires, though, are easier to use as they are less time consuming.
Лист за наблюдение
Observation Sheet