On-line vizsgáztató rendszermódszerek és tapasztalatok |
Csirmaz LászlóKözép Európai Egyetem, 2005 |
Egyetemünkön minden tanév elején a frissen felvett diákokat egy gyorstalpaló számítástechnikai kurzuson ismertetjük meg a hálózattal, a használt e-mail rendszerrel, valamint a tanulmányaikhoz elengedhetetlenül szükséges további informatikai eszközökkel. Ez utóbbi egy középhaladó böngésző, Word valamint miniális Excel ismeretet jelent. A kurzusok befejezéseként a diákoknak egy megadott web címen található utasításokat kellett végrehajtaniuk: egy, a hálózaton tárolt text formátumú szöveg megtalálása, importálása, font, margó, sorköz, fej- és lábrész beállítása, bekezdések formázása, stb, majd az előálló Word dokumentum adott e-mail címre elküldése.
Az elmúlt években a jelentkező diákok számítástechikai ismeretei jelentősen nőttek. Így a kötelező kurzusok helyett egy on-line vizsgát kellett megadott határidőre letenniük. Természetesen több típusú és témájú felkészítő órát is meghirdettünk, melyekre előzetesen lehetett feliratkozni. A vizsga módszerének és tematikájának összeállításakor a következő szempontok voltak a legfontosabbak:
Ezek alapján a vizsgát egy, csak az egyetemen belül elérhető webes felületen keresztül lehetett letenni. A kezdőlapon a vizsgázó felhasználói nevét és jelszavát használva azonosította magát. A rendszer a vizsgázó saját könyvtárában létrehozott egy új direktorit, és abban öt azonos nevű de különböző méretű és típusú (kiterjesztésű) állományt. Az első feladat ezeket az állományokat méret és típus alapján összepárosítani, másik mappát létrehozni, az állományok közül náhányat törölni, átmozgatni illetve átmásolni. A feladat egyrészt mérte, hogy a vizsgázó ismeri-e az alapvető file műveleteket, másrészt biztosította azt is, hogy a vizsgázó hozzáfér saját könyvtárához. Ezzel próbáltuk elkerülni, hogy valaki mások helyett nagyüzemben tegye le a vizsgákat (nem teljesen sikeresen, ahogyan azt a statisztikák mutatják).
A második feladat -- úgy tűnik, a legnehezebb -- adott szöveg időre való begépelése volt. A mintegy 700 karakteres, értelmes angol szöveg a képernyő felső felén volt látható, a beírt szöveg pedig az alsó felén jelent meg. Hibátlan gépelés esetén 80 karakter/perc sebességet is elfogadtunk; tíz hibánál ez 120 karakter/perc volt.
A harmadik feladat három, egyenként 20 kérdésből álló feleletválasztós teszt kitöltése. Minden kérdésre a három-négy lehetőség közül kellett kiválasztani az általunk helyesnek vélt választ. Az első kérdéscsoport az általános számítógéphasználatra, a második az elektronikus levelezésre illetve az egyetemen használt levelező programra vonatkozott. A harmadik kérdéscsoport a szövegszerkesztés, ezen belül a Word és néhány kérdés erejéig az Excel témaköréből jött. A sikeres vizsgához a kérdések 80 százalékát kellett helyesen megválaszolni.
A negyedik, és egyben utolsó feladat az elmúlt évek tesztjének megismétlése. Részletes lista alapján kellett egy szöveget megformázni, majd az eredményt a tanszék egyik kollégájának elküldeni. A vizsga első három feladatának eredményét a vizsgázó azonnal láthatta, a negyediket csak azután, miután valamelyik kollégánk ellenőrizte azt.
Az on-line vizsga végül is sikeres volt. Összesen 431 vizsgázó 534-szer indult neki a vizsgának, és 394-en sikerrel le is tette. A gépelés átlagos sebssége 156 karakter/perc volt, a hibás leütések száma 1 százalék körüli. Mindhárom tesztre majdnem egyöntetűen 80 százalékban adtak helyes választ. A formázás csak kevés esetben sikerült elsőre; a 675 elküldött Word dokumentumból mindössze 394 volt helyes. Az egyik tipikus hiba a margó hibás beállítása volt. Az előírás szerint ezt 1 cm-re kellett volna legyen. Az 1-et helyesen állították be, de a mértékegységet már nem bántották.
A vizsgával arról kívántunk meggyőződni, hogy a vizsgázó rendelkezik-e megfelelő számítástechnikai ismeretekkel. Ha a diák a web lapokkal ügyesen bűvészkedve tud sikeres vizsgát hazudni magának, akkor a vizsgára nincs is szükség. Nem a "nagyon okos" felhasználóktól féltünk elsősorban, hanem a diákok rossz értelemben vett "kollegialitásától". Nem az a baj, ha valaki sikeresen feltöri a rendszert, hanem az ha megtanítja a többieket, hogyan lehet a rendszer háta mögött ervényes vizsgát szerezni. A gépelésnél például egy gyors internetes keresés után egy egyszerű kijelölés/másolás sokkal hatékonyabb mint a teljes szöveget beírni. Vagy a teszt kérdéseit kinyomtatva a helyes válaszokat bekarikázzák, és innentől a feladat csak egyszerű másolás.
Igyekeztünk az ilyen "közepesen okos" felhasználókon kifogni. Szerencsénkre az egyetem számítógépes laboratóriumaiban kizárólag IE böngészők futnak, és a gépeken nem lehet új programokat telepíteni illetve elindítani. A vizsgalapok dinamikus sütikkel (cookie) és dimamikus címekkel készülnek. A lapok külön fejléc nélküli ablakban jelennek meg; a lokális menü (jobb gomb) nem működik bennük, a lapot nyomtatva (ha mégis ki tudják nyomtatni) egy üres oldal jelenik meg, és még a képernyő nyomtatást is letiltottuk. Minden kérést és minden választ naplóztunk, ami az esetleges reklamációk kezeléséhez is nélkülönözhetetlen. Az oktatók jelszóval védett oldalon a napló alapján minden vizsgázó eredményét külön megvizsgálhatták, és szükség esetén felülbírálhatták a rendszer döntését. Erre egyetlen esetben volt szükség, mikor az egyik diák törött kézzel nem tudott megfelelő tempóban gépelni.
A tapasztalat szerint ebből a szempontból a vizsgalapok kitünően működtek, és a vizsgaanyag nem szivárgott ki. Amit viszont nem tudtunk elérni -- és ezt a jövőben figyelembe kell vennünk -- az az, hogy a diák belép a rendszerbe, majd maga helyett valaki mást ültet a gép elé. Különösen a dokumentum formázásnál az azonos hibák sokasága valószínűsíti hogy ez nem egyszer előfordult.
A helyileg kifejlesztett vizsgáztató szoftver 2.0 verziójú Apache szerver és hozzátartozó libapreq modul alatt futó perl nyelvű programokból áll. Viszonylag könnyen adaptálható más környezetbe, a teszkérdések illetve gépelési feladatok külön-külön is konfigurálhatók. A szoftver a GNU Public Licence alatt mindenki rendelkezésére áll.