ทุจริตการสอบในช่วง COVID-19 กับ Online proctored exam

ในฐานะที่ดูแล Education Technology ของมหาวิทยาลัยมาเกือบสิบปี ปีนี้เป็นปีที่ได้รับคำถามและความกังวลใจจากเพื่อนๆอาจารย์ในเรื่อง”การโกงข้อสอบ”ของนักศึกษามากที่สุด คำถามที่พบบ่อยคือ “มี technology อะไรที่จะทำให้นักศึกษาไม่ลอกกันมั้ย” โอยยยยย คิดอยู่ว่าจะตอบยังไงดีเนี่ย พอคิดไปคิดมาก็เลยนึกได้ว่ายังไม่เคยมานั่งมองเรื่องนี้อย่างจริงจังเพื่อหาคำตอบว่าเราควรทำยังไงกับความกังวลใจเหล่านี้ ใน Story นี้เราจะมาพุ่งชนปัญหานี้ด้วยกันเพื่อให้เราเข้าใจและเห็นภาพของทางเลือกและทางออกทาง technology ต่างๆที่เป็นไปได้ ปะ!

Online proctored exam (the big brother)

สำหรับคนที่ “เชื่อ” ว่าเราสามารถสร้างสิ่งแวดล้อมในการสอบเพื่อป้องกันการทุจริตได้ ทางเลือกสุดฮิตของอาจารย์ในหลายมหาวิทยาลัยตอนนี้คือ Online or Remote proctoring [1] ซึ่งเป็นวิธีการจัดสอบ Online ที่ผู้สอบสามารถจะสอบได้จาก Remote locations ซึ่งสามารถจะทำได้ในหลายรูปแบบตั้งแต่การเข้าถึง personal computer เพื่อเฝ้าระวังหรือป้องกันการทุจริตของผู้เรียน การบังคับให้ผู้เรียนเปิดกล้องเพื่อบันทึกการสอบไว้ตรวจสอบทีหลัง (Passive video surveillance of students) หรือให้เจ้าหน้าที่จัดสอบเข้ามาเฝ้าดูพฤติกรรมและสิ่งแวดล้อมรอบๆตัวผู้สอบแบบ real-time (Active video surveillance of students) การจัดสอบในลักษณะนี้จะมีกระบวนการที่ออกแบบมาเพื่อป้องกันการโกงโดยเฉพาะ ต้องบอกจริงๆว่าเป็นเรื่องที่ยากที่จะทำให้ได้ดีครบถ้วนและนับว่าเป็นการจัดสอบที่ invasive พอควรเลยสำหรับผู้สอบเพราะนอกจากจะต้องเข้าถึง personal information ต่างๆของผู้เรียนแล้วยังมีเรื่องความเป็นส่วนตัวหลายๆที่เราต้องเข้าไปขอดูเพื่อตรวจสอบและป้องกันการทุจริต ลองเข้าไปดู Proctored exam rules and requirements[2] ที่เขียนไว้สำหรับ EdX ก็จะพอทำให้มี ideas ว่ามันมีขั้นตอนยังไงกันบ้าง ผู้ให้บริการ proctoring service ดังๆอย่างเช่น Respondus ProctorU หรือ Examity มีการให้บริการฟีเจอร์ล้ำๆสำหรับการจัดสอบแบบนี้ เช่น

• lockdown browser: บังคับให้ผู้สอบเห็นหน้าจอเป็น full-screen ห้าม copy-paste ห้าม chat ห้าม print หรือกด screenshot ใดๆ
• มีผู้จัดสอบ (real admins) มาคอยดูผู้สอบแบบ real-time และหยุดผู้เรียนที่มีพฤติกรรมเข้าข่ายทุจริต
• มีการทำ environment security check เช่น ให้ผู้สอบแสดง ID หน้าจอ มีการ show มือถือ มีการหมุน laptop หรือ webcam เพื่อให้ผู้จัดสอบเห็นว่าไม่มีสิ่งต้องห้ามในระยะใกล้เคียง
• ใช้ AI เพื่อตรวจสอบ identity ของผู้สอบ วิเคราะห์ keystrokes จับพฤติกรรมที่น่าสงสัยต่างๆ เช่น การทำ gaze detection เพื่อดูว่าผู้เรียนจ้องอย่างอื่นนอกจากหน้าจอหรือไม่….(โอวววว)

เอา introduction video ของ Respondus LockDown Browser มาให้เห็นภาพว่าเขาทำกันยังไง

Respondus Introduction

ป้องกันการทุจริตได้จริงมั้ย (catch me if you can)

Ans#1: พอได้ ถ้าเราสามารถจัดให้เกิด control environment ในการสอบที่เป็นระบบปิด เช่น ในห้องที่เราสามารถควบคุมคน อุปกรณ์ต่างๆได้ และมีการ monitor ผู้สอบอย่างใกล้ชิด เช่น อาจจะต้องห้ามไปห้องน้ำ ให้ผู้สอบเอากล้องถ่ายสิ่งแวดล้อมให้ดูเมื่อมีความสงสัยว่ามีการทุจริตต่างๆ ซึ่งเป็นสิ่งที่ยากมากที่จะสร้าง control environment ให้เกิดอย่างเท่าเทียมกันที่บ้านเมื่อพิจารณาถึงความหลากหลายของสิ่งแวดล้อม และการเข้าถึงทรัพยากรและอุปกรณ์ต่างๆของผู้เรียนในช่วงนี้

Ans#2: ไม่ได้ สำหรับผู้สอบที่มีความตั้งใจอย่างแรงกล้าที่จะทุจริต พวกเขาสามารถหาวิธีการและรูปแบบใหม่ๆได้เสมอ ตัวอย่างวิธีการที่ผู้สอบใช้กันอย่างแพร่หลายในการโกงการสอบ Online แบบ proctored ในต่างประเทศ เช่น

• ใช้วิธี high tech เพื่อการ bypass Lockdown browser อย่างการใช้ Virtual machine แล้ว edit registry เพื่อให้เหมือนกับเครื่องจริงๆ ซึ่งจะทำให้ผู้สอบทำทุกอย่างได้ตามปรกติไม่ว่าจะ search หาคำตอบ ปรึกษาเพื่อนๆ ถามติวเตอร์ผ่านหน้าจอเดียวกัน
• วิธีบ้านๆแบบในกรณีที่ใช้กล้อง built-in จาก laptop ผู้สอบสามารถสร้าง cheat sheet แล้วแปะไว้บนส่วนใดส่วนหนึ่งของหน้าจอทำให้เราแยกไม่ได้ว่าผู้สอบจ้องอะไรบนหน้าจอ ยิ่งถ้าผู้สอบสร้าง cheat sheet บนแผ่นพลาสติกบางๆใสๆ เอาไปแปะไว้บนจอได้จะทำให้เห็นข้อมูลบนจอได้ครบถ้วน
• วิธี ใช้ digital watch ที่ใส่ข้อมูลเข้าไปได้ ใช้ Bluetooth earpiece แบบเล็กๆ เพื่อฟังและบอกคำตอบกันในระหว่างสอบ (ทำเป็นอ่านข้อสอบดังหน่อยก็น่าจะได้ยินและไม่ผิดสังเกตอะไร)อีกวิธีคือใช้บัตรปลอมเพื่อสอบแทนกันไปเลย
• แอบไปนั่งทำข้อสอบด้วยกัน ให้เพื่อนสลับกันหลบอยู่ใต้โต๊ะตอนหมุนกล้องแล้วค่อยขึ้นมานั่งตอนเริ่มสอบ :)

อยากให้ได้ไปลอง search กันดูว่าผู้เรียนที่คิดจะโกงสามารถจะหาช่องโหว่ของการจัดสอบแบบนี้ได้เสมอ เมื่อเราสร้างระบบขึ้นมาบนความไม่เชื่อว่าเค้าจะซื่อสัตย์เราคงต้องเพิ่ม checklist ของการป้องกันไปไม่มีที่สิ้นสุด ในฐานะที่เราเป็น Science and Tech University ตอนนี้นึกไปถึงการบังคับให้ผู้สอบติดเครื่องจับทุจริตแล้วส่งสัญญาณการเต้นของหัวใจกับระดับความชื้นผิวหนังกลับมาแบบ real-time หรือส่ง drones ไปที่บ้านผู้สอบเพื่อเฝ้าดูพฤติกรรมไปเลย (-_-`)

การจัดสอบแบบนี้ทำให้เกิดอะไรขึ้น

การให้ผู้เรียนทั้งหมดใช้กล้องในการสอบโดยบังคับให้มีการส่งพร้อมๆกันจากที่บ้านควรคำนึงถึงความพร้อมของสิ่งแวดล้อม อุปกรณ์​และการเข้าถึงของผู้เรียนแต่ละคน ลองนึกสภาพ Internet ที่มี speed ต่ำๆในพื้นที่ห่างไกล หรือมีแต่ Internet ความเร็วต่ำจากมือถือ แถมยังมีการแย่งกันเข้ามาใช้งานของสมาชิกในครอบครัว(พ่อแม่ work from home, ลูกเรียน-สอบ Online, คุณยายดู Netflix)

สภาพการ share พื้นที่ของสมาชิกในครอบครัวระหว่างการสอบทำให้การจัดมุมสว่างและสงบที่ไม่มีสิ่งรบกวนที่บ้านเป็นไปได้ยาก(ต้องสว่างเพื่อให้กล้องตรวจจับหน้าและพฤติกรรมของผู้สอบได้ชัดเจน) เช่น ถ้าบ้านเลี้ยงสัตว์ มีเด็กเล็ก อยู่ติดกับ site ก่อสร้างที่มีเสียงดัง และมีผู้ปกครองที่มีความจำเป็นต้องอยู่ในบริเวณนั้น การจะให้ผู้สอบมีสมาธิในการสอบคงเป็นสิ่งที่เป็นไปได้ยาก

โดยทั่วไปการสอบที่มีเวลาจำกัด (timed exam) โดยเฉพาะการสอบที่มีความสำคัญมากๆ (high-stakes tests) ไม่ว่าจะ Online หรือ Offline ก็ตามเป็นการสร้างความเครียดให้ผู้เรียนอยู่แล้ว ถึงแม้ว่าความกดดันเล็กน้อยจะมีประโยชน์ในการกระตุ้นการเรียนรู้ ความเครียดหรือความกดดันที่ผู้เรียนได้จากการสอบที่จะส่งผลกับชีวิตเขามากๆ มักสร้างให้เกิดความสามารถในการทำข้อสอบหรือ short-term performance ที่เห็นได้จากคะแนนเท่านั้น แต่มีประโยชน์น้อยมากกับ long-term retention/understanding of concept[3][4]

การทำ proctored exam กับผู้สอบจำนวนมากใช้ทรัพยากรมหาศาล ถ้าทำแบบเต็มรูปแบบผ่าน proctoring service นี่ก็แพงพอควรเลย ProtorU คิดค่าใช้จ่ายในการจัดสอบประมาณ​ $14.7 (ประมาณ 470 บาทต่อชั่วโมงต่อคน) ถ้าสอบ 100 คน เป็นเวลา 3 ชม. ก็ 141,000 บาท (47,000x3)[5] วิธีที่ประหยัดกว่านั้นคือคุมสอบเองโดยใช้ Zoom, Microsoft Team หรือ Google Hangout ซึ่งผู้คุมสอบก็ต้องสวมวิญญาณ Sherlock Holmes แล้วก็ยังไม่แน่ใจว่าจะสืบอะไรและอะไรคือหลักฐาน Holmes ยังต้องเฝ้าระวังโดยใช้ทักษะการกรอกตาไปมาตลอดเวลาเพื่อค้นหาพฤติกรรมที่ต้องสงสัย

การ submit ข้อสอบจากผู้เรียนจำนวนมากพร้อมๆกันในเวลาเดียวกันก็เหมือนการนัดกันออกจากบ้านพร้อมๆกันบนถนนแคบๆ ลองจินตนาการวิชาที่มีผู้เรียน 200–600 คน มาสอบพร้อมๆกันหลายๆวิชา ไม่ว่าจะทำ load balancing หรือ performance optimisation เก่งขนาดไหน การปรับ performance ขึ้นลงตามการใช้งานให้ผู้สอบสามารถส่งพร้อมๆกันได้ในเวลาเดียวกันไม่ใช่เรื่องง่าย ถ้าเงินไม่ใช่ปัญหาคนสร้างถนนคงต้องเพิ่ม lanes กันตลอดเวลาเพื่อให้ระบบไม่ล่มและรองรับ peak traffic ได้โดยผู้สอบยังสามารถ upload ข้อสอบได้ทัน deadline ในระยะเวลาไม่กี่วินาที ทั้งนี้ทั้งนั้นแต่ละมหาวิทยาลัยจะมีนโยบายการจัดการกับทรัพยากรเหล่านี้ต่างกัน ที่ ETS เราใช้วิธีขยาย lanes ในช่วงสอบโดยให้ system admin วางแผนปรับ Performace จากการดู submission deadlines เป็น ชม.ๆไปตามรูปด้านล่างแบบนี้ ซึ่งก็สร้างความตื่นเต้นให้ทีม support และ system admin กันไป

กราฟแสดงจำนวนการส่งงานหรือสอบย่อยตาม deadlines ทั้งระบบใน 1 วัน

แล้วเราทำอย่างไรได้บ้าง (innocent until proven guilty)

สิ่งที่จะเขียนต่อไปนี้เป็นความคิดเห็นส่วนบุคคล ผู้อ่านควรใช้วิจารณญาณ

เชื่อก่อนว่าทุกคนจะไม่โกง และใช้พลังของเราในการสร้างสิ่งแวดล้อมให้คนเห็นคุณค่าของการเรียนรู้มากกว่าคะแนน อาจจะฟังดูโลกสวยไปหน่อยแต่ให้ความสบายใจไประดับหนึ่งเลยนะถ้าเราคิดได้ว่าเราจะเชื่อผู้เรียนก่อนและจะไม่เหมาว่าทุกคนจ้องจะโกง

ถ้าเราเชื่ออย่างนั้นเราก็ไม่จำเป็นต้องให้ความสำคัญกับการป้องกันมากไปนัก โดยใช้วิธีการ assessment ที่ช่วยสร้างสิ่งแวดล้อมที่ทำให้ผู้เรียนทุกคนมี integrity และตัดสินใจทำในสิ่งที่ถูกต้องถึงแม้จะไม่มีใครเห็น หลายแห่งมีการสื่อสารความคาดหวังเรื่อง academic integrity ให้กับผู้เรียนอย่างชัดเจนโดยให้ผู้เรียนเซ็นต์ Honour codes ก่อนเห็นข้อสอบและก่อนจะส่งงานต่างๆเพื่อเตือนให้ผู้เรียนได้ทราบว่าเราเชื่อว่าพวกเค้าโตพอและมี accountability และ personal integrity ต่อการเรียนรู้ของตัวเองพอที่จะไม่โกง รวมทั้งทราบถึงผลกระทบที่รุนแรงที่จะเกิดขึ้นจากการทุจริตด้วย

มีวิธีการมากมายที่เราจะแสดงออกให้ผู้เรียนเห็นว่าการทุจริตเป็นการกระทำที่ไม่ถูกต้อง เป็นสิ่งที่ไม่คุ้มค่ากับความเสี่ยง ไม่น่าสนใจและไม่ได้ช่วยให้เค้าเรียนรู้ [1][3] เช่น

• สร้าง safety net โดยให้เวลาในการทำการบ้าน การเข้าถึงการสอบ และการทำข้อสอบที่ยืดหยุ่นกับผู้เรียน และยอมรับการส่งงานหรือส่งข้อสอบช้าเพราะเหตุการณ์ไม่คาดคิด
• สอบแบบ Take home, Open-book, Open resource ที่ให้ผู้เรียนแสดงออกถึงความสามารถที่เพิ่มขึ้นมาจากการเรียนวิชานี้ โดยให้เค้าดูได้ทุกอย่าง ปรึกษากันได้ รึไม่งั้นก็ทำเป็นกลุ่มไปเลย (ให้เหมือนชีวิตการทำงานจริง)
• ให้ผู้เรียนรับผิดชอบในการตรวจสอบการลอกกันผ่านการแนบ plagiarism reports เช่น Turnitin เพื่อฝึกตรวจสอบ originality ของเนี้อหาของตนเองก่อนส่งงาน
• ให้ผู้เรียนออกแบบแล้วส่งมาให้ตรวจ ให้โจทย์ที่จำเป็นต้องใช้ creative thinking พยายามทำให้ไม่ยากเกินไป (don’t make it impossible, make it accessible)
• ทำให้คะแนนที่ได้จากการสอบมีความหมายน้อยๆ โกงไปก็ไม่คุ้ม เช่น เอาคะแนนไปคิดเป็น เกรดแค่ 5–10% คะแนนส่วนอื่นก็ให้จากการทำงานส่ง การดู portfolio ที่แสดงออกถึงความเข้าใจของผู้เรียน การวัดจากความเข้าใจของผู้เรียนเวลาเราจัด live/online discussion กับเขา
• เลิกสอบไปเลยแล้วให้ผู้เรียนทำ Project ส่ง ให้ทำ reflective assignment ที่รวมกิจกรรมการทวนสอบที่ถามถึงความคิดและการวิเคราะห์ความเข้าใจจากมุมมองของแต่ละคนผ่าน online-discussion
• สำหรับ class เล็กๆ ใช้การวัดผลเล็กๆอย่างต่อเนื่อง low-stake assessment ผ่านการทำงานหรือการบ้านส่ง เปิดโอกาสให้เราวัด learning outcomes ของผู้เรียนที่เป็นขั้นๆอย่างต่อเนื่อง
• ให้โจทย์แล้วให้ผู้เรียนปรึกษากันจริงจังไปเลย และเขียนมาด้วยว่าปรึกษากับใครและแต่ละคนช่วยได้มากแค่ไหน ใครช่วยอะไรบ้าง (เป็นการ foster ให้เกิดการช่วยเหลือกันและทำงานเป็นทีมด้วย)
• ใช้เวลา 10 นาทีเพื่อคุย (ใช้ video call และอัดเก็บไว้) กับผู้เรียนเกี่ยวกับคำตอบหรืองานที่ส่งมาโดยที่ไม่ได้บอกว่าจะถามส่วนไหน ให้ TA ช่วยทำก็ได้สำหรับห้องใหญ่ หรือจะชวนมาถามทีละหลายๆคนก็ได้ หลักการคือถ้าผู้เรียนอธิบายได้ เข้าใจและตอบได้ตาม learning outcomes แปลว่าเขาเรียนรู้
• ให้แต่ละคนเอาการบ้านที่ตัวเองส่งไปแล้ว (ในหัวข้อที่แตกต่างกัน) มาเป็นส่วนประกอบของการทำงานใหม่ส่ง วิธีนี้ทำให้แต่ละคนมีโจทย์ที่แตกต่างกันแน่นอน เช่น การบ้านที่ 1 ให้ผู้เรียนแต่ละคนเลือกบริษัทที่เค้าชอบมาคนละ 1 บริษัท โดยห้ามซ้ำกัน การบ้านที่ 2 ให้ส่ง business model analysis ของบริษัทเหล่านั้นกลับมาโดยให้เวลาทำ 2 อาทิตย์
• ให้ผู้เรียนทำการบ้านมาหลายๆข้อ เช่น 5 ข้อ แล้วเราจะเลือกข้อที่เค้าได้คะแนนมากที่สุด 3 ข้อมาคิดเป็นคะแนน ทำให้ลดความกดดันในการลอกกันลงไปได้
• ใช้การส่ง portfolio ของการทำเป็นผ่าน Micro-credential เพื่อเป็นการรับรองความสามารถที่เฉพาะเจาะจงแทนการสอบ (อ่านเพิ่มเติมได้ที่ 4lifelonglearning.org)

ถ้าเราพยายามเชื่อเขาแล้วยังมีคนทุจริตและเราจับได้พร้อมหลักฐาน! คราวนี้จะเป็นโอกาสสำคัญในการสร้าง culture ของการเรียนรู้ที่ให้คุณค่ากับความซื่อสัตย์ ซึ่งผลกระทบที่เกิดกับผู้เรียนควรจะจริงจังเท่าๆกับ Freedom และความเชื่อใจที่ยิ่งใหญ่ที่เราให้เขาไปก่อนหน้านี้ มีหลายๆมหาวิทยาลัยที่ให้ตกและห้ามลงทะเบียนไปเลย 12 เดือน หรือ discontinue ไปเลยก็มี (โปรดปรึกษาหัวหน้าภาคและนิติกรก่อนตัดสินใจ)

สิ่งสำคัญ (not just grades and scores)

บางครั้งเรามัวแต่กังวลกับ Technology กันจนลืมไปว่า technology เป็นเครื่องมือในการ connect เรากับผู้เรียนในช่วงสถานการณ์แบบนี้ เชื่อว่าเราทุกคนอยากจะ support learning ให้ผู้เรียนได้เรียนรู้ให้ได้ในทุก environment คำถามสำคัญที่เราต้องมาช่วยกันตอบคือทำอย่างไรเราถึงจะช่วยให้ผู้เรียน เรียนรู้ พัฒนาและประสบความสำเร็จได้ด้วยทรัพยากรที่เราและเค้ามีอยู่ ทั้งนี้เราสามารถออกแบบประสบการณ์การเรียนรู้ “ที่เค้าหาไม่ได้จากใน Web” และช่วยให้ผู้เรียนเห็นถึงความสำคัญของการนำไปใช้ และนำไปแก้ปัญหาที่จะเป็นประโยชน์กับชีวิตเขาจริงๆ

การสอบเป็นกระบวนการที่เราใช้วัดและประเมินผลการเรียนรู้ของผู้เรียนเพื่อให้เราทำหน้าที่ของเราได้ดีขึ้น และการสอบก็ไม่ได้เป็นวิธีการเดียวที่เราใช้ในการรับรองความสามารถของผู้เรียน การสอบที่มีเวลาจำกัดและต้องเกิดขึ้นพร้อมๆกัน (synchronous mode) อาจไม่ใช่วิธีการที่เหมาะสมในการสร้างสิ่งแวดล้อมให้ผู้เรียนได้แสดงความสามารถที่แท้จริงออกมา ไม่ว่าท่านจะเลือกที่จะสอบหรือเลือกที่จะวัดความสามารถของผู้เรียนแบบไหนก็ตาม พลังงานที่จำกัดของเราควรถูกเอาไปทุ่มเทให้เกิดการเรียนรู้ที่มีประโยชน์ (significant learning) ของผู้เรียน…เสมอ :)

References:

[1] EDUCAUSE COVID-19 QuickPoll Results: Grading and Proctoring, EDUCAUSE Review, [Online: accessed 17 May 2020], https://er.educause.edu/blogs/2020/4/educause-covid-19-quickpoll-results-grading-and-proctoring

[2] Proctored exam rules and requirements, edX Help Center, [Online: accessed 17 May 2020],https://support.edx.org/hc/en-us/articles/360000218027-Proctored-exam-rules-and-requirements

[3] Should You Worry About Cheating on Online Tests During COVID-19?(March-2020), NeoAcademic [Online: accessed 17 May 2020], http://neoacademic.com/2020/03/19/should-you-worry-about-cheating-on-online-tests-during-covid-19/

[4] Dirksen, Julie. Design for How People Learn (Voices That Matter) (p. 101). Pearson Education. Kindle Edition.

[5] University of Illinois Illinois Online University of Illinois at Urbana-Champaign, ProctorU, [Online: accessed 17 May 2020],http://online.illinois.edu/proctoru