DOI: 10.5159/iqb_cobalit_v1
title: Modellierung und Messung beruflicher Kompetenzen in der kaufmännischen Domäne (CoBALIT)
title: Modelling and Measuring Vocational Competences in the Commercial Domain (CoBALIT)

description: Im Verbundprojekt CoBALIT wurden berufliche und berufsnahe Kompetenzen in ausgewählten nationalen und internationalen kaufmännischen Ausbildungsgängen modelliert und gemessen. Auf Basis der empirischen Befunde wurden unter Rückgriff auf soziale und institutionelle Kontextfaktoren Erklärungsmodelle entworfen, um Aussagen insbesondere im Hinblick auf berufliche Lernprozesse und Instruktionsprozesse treffen zu können. Im Zentrum der Teilvorhaben standen einerseits die Entwicklung eines technologiebasierten Instruments, das dem Prinzip eines „authentic assessments" folgt, sowie andererseits die Modellierung und Messung von Kompetenzen aus der Perspektive von kaufmännischen Arbeitsprozessen und Geschäftsprozessen. Das Vorhaben verteilte sich auf sieben umfassende Arbeitspakete, die sich als komplexes Designmodell und Assessmentmodell interpretieren lassen: (1) Analyse und Spezifikationen kaufmännischer Geschäftsprozesse; (2) Grundlagenlegung für die Validität der zu erfassenden Konstrukte im Hinblick auf kaufmännische Geschäftsprozesse; (3) Entwicklung der Tests und Items sowie die Entwicklung möglicher Antwortformate im Rahmen der ALUSIM-Umgebung; (4) Pilotierung der Tests und Adaptation der Testitems vor dem Hintergrund der Ergebnisse; (5) Durchführung der Hauptstudie sowie im Anschluss daran (6) die Auswertung und Aufbereitung der Ergebnisse. Hierbei wurden verschiedene psychometrische Modelle geprüft. (7) Verbundkoordination (einschließlich der Steuerung der Wissenschaft-Praxis-Kooperation).

Die im Rahmen des Teilvorhabens "Kompetenzmessung aus Arbeits- und Geschäftsprozessperspektive sowie Entwicklung der ALUSIM-Testumgebung" konstruierte und validierte ALUSIM-Testumgebung kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. 

In dem Teilvorhaben "Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche" standen Fragen der Übertragbarkeit von Testinstrumenten, die für einen spezifischen Ausbildungsberuf, hier dem Beruf der Industriekaufleute, entwickelt wurden, auf andere Berufe desselben Berufsfeldes im Zentrum des Forschungsvorhabens. Zu den quantitativ bedeutsamen kaufmännischen Berufen zählte in diesem Kontext speziell der Beruf der Kaufleute für Spedition und Logistikdienstleistungen. Ziel des Teilprojektes war es, gemeinsame Kompetenzbereiche in den beiden zur Diskussion stehenden Ausbildungsberufen zu identifizieren, ergänzend zu den Testaufgaben für Industriekaufleute berufsspezifische Aufgaben für die Speditionsbranche und Logistikbranche zu entwickeln und zu prüfen, inwiefern zentrale kaufmännische Anforderungen in verschiedenen wirtschaftlichen Kontexten berufsübergreifend relevant sind. Im Rahmen der psychometrischen Modellierungen wurde vor allem den Fragen der spezifischen Objektivität nachgegangen. Zum Arbeitsplan gehörten curriculare Analysen und Vergleiche sowie die Testorganisation und Testdurchführungen in Niedersachsen. In geringem Umfang waren auch Testadaptationen und Pilotierungen für die erweiterten bzw. neuen Testkomponenten erforderlich. Die Testanalysen und Auswertungen umfassten statistische Modellierungen, insbesondere Prüfung von angemessenen Testmodellen, Itemanalysen sowie die Berichtslegung und Dokumentation der Testitems. Die im Rahmen der Teilstudie konstruierte und validierte ALUSIM-Testumgebung zum Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden.

Das Teilvorhaben "Planung und Umsetzung von Projekten (Intrapreneurship)" bezog sich auf die Generierung von innovativen Projektideen sowie die Planung und Umsetzung von Unternehmensprojekten unter Abwägung der Vorteile und Nachteile der jeweils zu ergreifenden Maßnahmen (Intrapreneurship) sowie unternehmensrelevanter Strategien und Ziele. Hierzu wurden (1) typische Situationen und notwendige Kompetenzen mit Hilfe von Arbeitsplatzanalysen und Literaturanalysen identifiziert und modelliert, (2) authentische Testaufgaben modellgeleitet technologiebasiert aufbereitet sowie (3) psychometrisch gestützt ein korrespondierendes Kompetenzmodell und Messmodell identifiziert. (4) Im Rahmen einer Pilotierung wurden das theoretische Modell und die korrespondierenden Testaufgaben mit Hilfe des identifizierten statistischen Messmodells überprüft. (5) Nach einer entsprechenden Anpassung des Itempools erfolgte die Hauptuntersuchung. Hier wurde u. a. über Analysen im Hinblick auf individuelle und institutionelle Bedingungen die Testfairness bestimmt. Zum Projektende liegt als Ergebnis ein theoriegestütztes, valides und reliables Kompetenzmodell für Intrapreneurship vor mit dem Fokus auf Ideengenerierung sowie Planung und Umsetzung von Unternehmensprojekten, Unternehmensstrategien und Unternehmenszielen. Der erstellte Datensatz gibt Auskunft über den aktuellen Stand der beruflichen Kompetenzen - hier insbesondere zur Intrapreneurship-Kompetenz. Er bildet die Basis für weitergehende Analysen wie etwa die Identifikation von Gelingensbedingungen zur Förderung eines innovativen Denkens und Handelns im Sinne einer Intrapreneurship-Kompetenz samt der Entwicklung von Handlungsempfehlungen für die Ausbildungspraxis in Schule und Betrieb. Ebenso lassen sich Effekte der allgemeinen Fähigkeiten wie z. B. Mathematik und Lesen auf den Aufbau und Ausbau einer Intrapreneurship-Kompetenz sichtbar machen. Die im Rahmen des Teilvorhabens konstruierte und validierte ALUSIM-Testumgebung zur Planung und Umsetzung von Projekten (Intrapreneurship) kann als Personal Learning Environment (PLE) sowohl für Assessmentprozesse als auch Instruktionsprozesse genutzt werden. (Projekt/IQB)
description: In the alliance-project "Modelling and Measuring Vocational Competences in the Commercial Domain (CoBALIT)" vocational and vocation related competences are being modelled and measured in selected national and international commercial vocational trainings. On the basis of empirical results and with recourse to social and institutional context factors, explanatory models are being designed in order to be able to make statements especially about vocational learning and instruction processes. The center of the partial projects are on the one hand the development of a technology based instrument which follows the principle “authentic assessments” as well as on the other hand the modelling and measuring of competences from a working and business process perspective. The scheme of the project is distributed among seven full working packages which can be interpreted as complex design and assessment models: (1) Analysis and specification of commercial business processes; (2) Building a validity foundation for recorded constructs in view of commercial business processes; (3) Development of tests and items as well as development of possible answering formats within the framework of the ALUISM-surroundings; (4) Pilot testing of the tests and adaptation of the test-items based on results; (5) Conducting the main study as well as in the aftermath (6) evaluation and processing of the results. While doing this several different psychometric models are being examined. (7) Alliance coordination (the regulation of the science-praxis-cooperation included). (…)

The within the partial project “Competence Measurement From a Working and Business Process Perspective as well as Development of the ALUISM-test Surroundings” constructed and validated ALUISM-test surroundings can be used as Personal Learning Environment (PLE) as well as for processes of assessment and instructions. 

Aims of the partial project “Transfer of the Assessment Proceedings to Other Commercial Professions and Fields of Activity”: In connection with the modelling of professional contents for industrial management merchants it shall be examined whether and in in what way aims, contents and working action can be transferred from one professional working area (industrial management merchants) to another professional working area (e.g. forwarding merchants as well as businessmen / businesswomen EFZ). The within the alliance developed instruments are being adapted to other commercial professions (forwarding merchants as well as businessmen / businesswomen EFZ). The work schedule includes curricular analysis and comparisons as well as test organization and implementation in Lower Saxony. On a limited scale test adaptations and pilot testing are required for the extended or new test components. The test analysis and evaluation comprise statistical modellings, particularly examination of appropriate testing models, item-analysis (e.g. DIPF-Analysis) as well as report and documentation of the test-items. (…) The partial project “transfer of the assessment proceedings to other commercial professions and fields of activity” commits itself to fully offer the instrument for further use via the client when the project term has finished.
The partial project “Planning and Implementation of Projects (Intrapreneurship)” refers to the generation of innovative project ideas as well as to planning and implementation of enterprise-projects after weighing the advantages and disadvantages of the prevailing measures to be taken (Intrapreneurship) (e.g. range arrangement) as well as enterprise relevant strategies and aims. With it (1) typical situations and required competences have been identified and modelled with the help of workspace and literacy analysis, (2) authentic test-items have been model-driven and technology-based processed as well as (3) a corresponding competency and measuring model has been psychometric-assisted identified. (4) Within the framework of a pilot testing the theoretical model and the corresponding test-items were examined with the help of the identified statistical measuring-model. (5) Following an appropriate itempool-adaptation the main examination occurred. With it the test-fairness was determined inter alia through analysis with regard to individual and institutional conditions. After three promotion-years a theory-assisted, valid and reliable competency model for “Intrapreneurship” is available with focus on generation of ideas as well as planning and implementation of enterprise-projects, enterprise-strategies and enterprise-aims. The carefully developed data record, which provides information about the current state of professional competencies – in this context in particular the “Intrapreneur-competency” -, is forming the basis for further analysis: Including the context factors conditions of success to promote innovative thinking and action (in terms of Intrapreneur-competence) can be identified and out of this recommended courses of action for vocational praxis in schools and company can be developed. Additionally effects of general skills, e.g. mathematics and reading, for construction and extension of Intrapeneursip-competence can be visualized. At the same time clues result for further national and international comparison studies. (IQB)
description: SelfAdministeredQuestionnaire.WebBased
description: MeasurementsAndTests.Educational
description: CrossSection
description: Beobachtungsdesign
description: Oberservational Design
description: Teilvorhaben "Kompetenzmessung aus Arbeits- und Geschäftsprozessperspektive sowie Entwicklung der ALUSIM-Testumgebung": Auszubildende zu Industriekaufleuten und für Spedition- und Logistikdienstleistung im 2. und 3. Ausbildungsjahr (N=1.664);

Teilvorhaben "Transfer der Assessmentverfahren auf andere kaufmännische Berufe und Tätigkeitsbereiche":
Auszubildende zu Industriekaufleuten im 2. und 3. Lehrjahr und Auszubildende für Spedition und Logistikdienstleistungen im 3. Lehrjahr (N=916);


Teilvorhaben "Planung und Umsetzung von Projekten (Intrapreneurship)": Auszubildende zu Industriekaufleuten und für Spedition- und Logistikdienstleistung im 2. und 3. Ausbildungsjahr (N=932)
description: Partial Project "Competence Measurement From a Working and Business Process Perspective as well as Development of the ALUISM-test Surroundings": Industrial Clerk Trainees in Year 2 and 3 and Trainees for Haulage and Logistic Services in Year 2 and 3 (N=1,664);

Partial Project "Transfer of the Assessment Proceedings to Other Commercial Professions and Fields of Activity": Industrial Clerk Trainees in Year 2 and 3; Trainees for Haulage and Logistic Services in Year 3 (N=916);


Partial Project "Planning and Implementation of Projects (Intrapreneurship)": Industrial Clerk Trainees in Year 2 and 3 and for Haulage and Logistic Services in Year 2 and 3 (N=932)
description: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe
description: Non-Probability Sample: Quota Sample
description: Publikationsort: Berlin
description: Publication Place: Berlin
description: Erhebungseinheiten: Auszubildende###
description: Survey Unit: Trainees###
description: Availability Type: Delivery
description: Beantragung nötig: https://www.iqb.hu-berlin.de/fdz/fdz/Datenzugang/SUF-Antrag/FormularSUFs
description: application required: https://www.iqb.hu-berlin.de/fdz/fdz/Datenzugang/SUF-Antrag/FormularSUFs