การประเมินผลโครงการโดยการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT)

หน่วยงานภาครัฐมักจะมีโครงการหรือนโยบายใหม่ ๆ ออกมาอย่างสม่ำเสมอ ไม่ว่าจะเป็นการให้วัคซีนป้องกันโรค การให้เรียนฟรี การให้เงินสนับสนุนเด็กแรกเกิด การให้ทุนการศึกษา หรือโครงการกระตุ้นเศรษฐกิจ เช่น โครงการคนละครึ่ง อย่างไรก็ตาม ผลลัพธ์ที่แท้จริงของโครงการเหล่านั้น มักจะไม่ได้รับการกล่าวถึงมากนัก บทความนี้จะเล่าถึง การประเมินผลนโยบายอย่างเป็นระบบ ว่าหมายถึง อะไร ทำไมการประเมินนโยบายจึงเป็นเรื่องสำคัญ และจะเน้นที่วิธีการทดลองแบบสุ่มที่มีกลุ่มควบคุม (randomized controlled trial – RCT) ซึ่งเป็นหนึ่งในวิธีประเมินผลของนโยบาย

ยกตัวอย่างเช่น หากรัฐมีโครงการให้ทุนการศึกษา โดยมีสมมติฐานว่า หากให้เด็กทุกคนเรียนฟรีจนจบมัธยมศึกษาตอนปลาย ประเทศจะมีแรงงานที่จบระดับ ม.ปลาย จำนวนมากขึ้น และแรงงานเหล่านี้จะมีรายได้เพิ่มขึ้น เราจะวัดผลของโครงการ “ทุกคนเรียนฟรี” นี้อย่างไร หากเรามองในหลายมิติ เช่น เด็กส่วนหนึ่งอาจจะเรียนจบมัธยมศึกษาอยู่ดี แม้ไม่ได้มีโครงการเรียนฟรีเกิดขึ้น เพราะครอบครัวสนับสนุนให้เรียนอยู่แล้ว หรือการจบ ม.ปลาย อาจจะทำให้เด็กกลุ่มหนึ่งรายได้สูงขึ้น แต่สำหรับเด็กอีกกลุ่มหนึ่ง อาจจะยังได้ค่าจ้างเท่ากับการจบ ม.ต้น เพราะหลักสูตร ม.ปลาย ไม่ได้ตรงกับงานที่ได้ทำมากนัก จะพอเห็นภาพได้ว่าการวัดผลลัพธ์ที่แท้จริงของโครงการนั้นไม่ง่ายนัก

การประเมินผลอย่างเป็นระบบ หมายถึงอะไร
ผลของโครงการนั้น ควรจะวัดจากวัตถุประสงค์หรือเป้าหมายหลักของโครงการ ซึ่งส่วนมากจะมีทั้งเป้าหมายระยะสั้น (intermediate goal) และ/หรือเป้าหมายระยะยาว (ultimate goal) หากยกตัวอย่างจาก โครงการเรียนฟรีด้านบน เป้าหมายระยะสั้น คือ อัตราการเข้าเรียนที่สูงขึ้น ส่วนเป้าหมายระยะยาว คือ การที่เด็กที่จบการศึกษามีงานที่ดีทำและมีรายได้ดี ดังนั้น การประเมินโครงการอย่างเป็นระบบ คือ การวัดว่าโครงการบรรลุเป้าหมายดังกล่าวหรือไม่ และต้องมีการประมาณการว่าหากไม่มีโครงการผลจะเป็นอย่างไร ตารางที่ 1 แสดงตัวอย่างของมาตรการอื่น ๆ และเป้าหมายระยะสั้น และระยะยาว

ตารางที่ 1

*นโยบาย/โครงการ*	Intermediate goal	Ultimate goal
ค่าเล่าเรียนฟรี	อัตราการเข้าเรียนที่สูงขึ้น	ผลลัพธ์ด้านแรงงานและการจ้างงานที่ดีขึ้น
การอบรมให้ครูใช้หลักสูตร High Scope ในศูนย์พัฒนาเด็กเล็ก	ศูนย์พัฒนาเด็กเล็กใช้หลักสูตร High Scope	เด็กปฐมวัยมีทักษะและพัฒนาการที่ดีขึ้น
การพัฒนาการอบรมเลี้ยงดูของผู้ปกครองด้วยหลักสูตร Reach Up	ผู้ปกครองใช้เวลาทำกิจกรรมกับเด็กเพิ่มขึ้น	เด็กมีทักษะและพัฒนาการที่ดีขึ้น

แม้หลาย ๆ โครงการมักจะกล่าวถึงเป้าหมายดังในตารางที่ 1 ตอนเริ่มต้น แต่บ่อยครั้ง การรายงานผลการดำเนินงานมักนำเสนอเพียงแค่ว่า (1) จำนวนผู้เข้าโครงการ (2) ความพึงพอใจของผู้เข้าร่วมโครงการ เช่น ให้ใส่คะแนนระดับ 1-5 สำหรับความพอใจที่น้อยที่สุดไปถึงระดับมากที่สุด และ (3) โครงการได้ใช้เงินงบประมาณที่ได้รับจัดสรรมาให้หมดหรือไม่ ข้อมูลเหล่านี้ แม้จะมีประโยชน์สำหรับการพัฒนาโครงการในอนาคต แต่ไม่ใช่การประเมินผลของโครงการที่แท้จริง เพราะไม่ได้วัดว่าโครงการบรรลุวัตถุประสงค์หรือไม่

วิธีการต่าง ๆ ที่ใช้ในการประเมินผลโครงการโดยทั่ว ๆ ไป ประกอบไปด้วย
– การทดลองแบบสุ่มที่มีกลุ่มควบคุม (randomized controlled trial – RCT)
– การเปรียบเทียบข้อมูลผลลัพธ์ของกลุ่มที่ได้รับและไม่ได้รับโครงการอย่างชาญฉลาด ด้วยการวิธีการเลียนแบบการทดลอง
– การจำลองกลไก (mechanism) พฤติกรรม (behavior) และทำนายผลของนโยบาย (simulation)
หลักคิดทั่วไปของการประเมินโครงการคือ การเปรียบเทียบผลลัพธ์ของสองกลุ่ม (รายปัจเจก หรือบริษัท โรงเรียน เป็นต้น) โดยกลุ่มทดลองได้รับโครงการหรือนโยบาย และอีกกลุ่มไม่ได้รับ ทั้งนี้ต้องหาวิธีควบคุมอิทธิพลจากปัจจัยที่อาจะส่งผลต่อผลลัพธ์ที่เราสนใจด้วย (confounding factors)
ทั้งนี้ ในบทความนี้และในบทต่อ ๆ ไป เราจะเน้นให้ความรู้และข้อมูลเกี่ยวกับการประเมินผลโครงการด้วยวิธี randomized controlled trial (RCT)

สถานการณ์ที่ยังพิจารณาใช้วิธี RCT ในการประเมินผลโครงการได้ (และไม่ได้)

เราสามารถเลือกจะใช้วิธี RCT ในการประเมินผลโครงการได้ ในกรณีที่เราสามารถวางแผนการประเมินผลไปกับการใส่นโยบายหรือโครงการตั้งแต่ต้น และเราสามารถสังเกต (เก็บข้อมูล) กระบวนการของโครงการ และเราสามารถวัดผลลัพธ์ได้

ในหลายๆ กรณี เราไม่สามารถประเมินผลโครงการด้วยวิธี RCT ได้ โดยเฉพาะในกรณี ดังต่อไปนี้

– ขัดกับจริยธรรมการวิจัย ในกรณีที่การใช้มาตรการที่เป็นอันตรายต่อร่างกายหรือจิตใจของผู้เข้าร่วมโครงการ เช่น เราไม่สามารถสุ่มผู้เข้าร่วมโครงการวิจัยให้ไปอยู่ในพื้นที่ที่มีฝุ่น PM2.5 ในระดับความอันตรายที่แตกต่าง เพื่อศึกษามาตรการที่เกี่ยวข้องได้
– โครงการหรือนโยบายได้เริ่มดำเนินการไปแล้ว เช่น การกำหนดค่าจ้างขั้นต่ำแบบก้าวกระโดดในเดือนเมษายน พ.ศ.2555
– ผลลัพธ์จะเกิดขึ้นในระยะยาวมาก ๆ เช่น นโยบายการปฏิรูประบบบำนาญ
– นโยบายระดับประเทศที่ส่งผลในทุกพื้นที่ เช่น การกำหนดอัตราดอกเบี้ยของธนาคารชาติ

ขั้นตอนสำคัญในการประเมินผลโครงการด้วยวิธี RCT

ขั้นตอนหลัก ๆ ในการดำเนินการประเมินผลโครงการด้วยวิธี RCT ประกอบไปด้วย ขั้นตอนดังที่แสดงในตารางที่ 2:

ตารางที่ 2: ขั้นตอนสำคัญในการประเมินผลโครงการด้วยวิธี RCT

	ขั้นตอน	เพื่อตอบคำถามว่า…
แนวความคิดและการออกแบบมาตรการ/โครงการ (Conceptualizing and Designing)	ประเมินความจำเป็น (needs assessment)	อะไรคือปัญหา ใครคือผู้ได้รับผลกระทบ ในพื้นที่แบบไหน เป็นต้น
	ประเมินกลไกการแก้ปัญหาของมาตรการ/โครงการ (Program theory assessment)	ในเชิงทฤษฎีแล้ว มาตรการ/โครงการจะสามารถแก้ปัญหาได้อย่างไร
การดำเนินมาตรการ/โครงการ (Implementation)	การประเมินกระบวนการ (Process evaluation) – ปัจจัยนำเข้า (Inputs) – กิจกรรม (Activities) – ผลผลิต (Outputs)	มีการดำเนินการมาตรการ/โครงการตามที่วางแผนไว้หรือไม่ – ทรัพยากรที่ใช้คืออะไรบ้าง – ทำกิจกรรมอะไรบ้าง – ผลผลิตหรือบริการที่วัดได้มีอะไรบ้าง
การประเมินมาตรการ/โครงการ (Program assessment)	การประเมินผล – การประเมินผลระยะสั้น (Outcome evaluation) – การประเมินผลกระทบ (Impact evaluation)	มาตรการ/โครงการบรรลุเป้าหมายตามที่คาดหวังไว้หรือไม่ – บรรลุเป้าหมายระยะสั้น (เช่น 1-2 ปี) หรือไม่ – บรรลุเป้าหมายสูงสุด (ultimate goal) หรือไม่

ตัวชี้วัดสำหรับการติดตามผล (Indicators)
ในการติดตามว่าเกิดความเปลี่ยนแปลงในแต่ละขั้นตอนหรือไม่ เท่าไหร่ ในทิศทางไหน เราจำเป็นต้องมีตัวชี้วัด ทั้งสำหรับปัจจัยนำเข้า กิจกรรมที่ใช้ ผลผลิต ผลลัพธ์ และผลกระทบ ซึ่งอาจจะใช้แนวคิด SMART indicator เพื่อเลือกหรือออกแบบตัวชี้วัดที่ทำงานได้ดี โดยองค์ประกอบของ SMART indicator          มีดังต่อไปนี้
– Specific (จำเพาะเจาะจง):     สามารถใช้บรรยายลักษณะที่เราต้องการวัดได้อย่างเป็นรูปธรรม
– Measurable (วัดได้):           ทำเป็นจำนวนได้ มีความแม่นยำ ถูกต้อง และเปลี่ยนไปตามลักษณะ (sensitive)
– Achievable (บรรลุได้):        นำไปใช้ได้จริง
– Relevant (มีความเกี่ยวข้อง): มีความเกี่ยวข้องกับสิ่งที่ต้องการจะวัดเป็นอย่างมาก
– Time-bound (มีกรอบเวลา): วัดได้ในช่วงเวลาที่แน่นอน

ตัวอย่างจากกรณีศึกษา “โครงการประเมินผลกระทบของการฟื้นฟูการเรียนรู้ที่ถดถอยของนักเรียนในช่วงสถานการณ์โควิด 19 ในจังหวัดสมุทรสาคร”

แนวความคิดและการออกแบบโครงการ (Conceptualizing and Designing)

การประเมินความจำเป็น (needs assessment)

สถานการณ์โควิด 19 ทำให้โรงเรียนปิดเรียนยาวนาน คุณครูจำเป็นต้องดำเนินการสอนรูปแบบออนไลน์ ซึ่งอาจทำให้ประสิทธิภาพการเรียนรู้ของนักเรียนลดลง จนกระทั่งเกิดภาวการณ์เรียนรู้ถดถอย

กลุ่มเป้าหมาย (target group)

นักเรียนระดับชั้นประถมศึกษาปีที่ 3 และ 6 และนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3

การออกแบบโครงการ (Program design)

มูลนิธิโรงเรียนสตาร์ฟิชคันทรีโฮม เป็นองค์กรผู้รับผิดชอบในการพัฒนารูปแบบการจัดการเรียนรู้เพื่อลดภาวะการเรียนรู้ถดถอยและฟื้นฟูการเรียนรู้ให้กับผู้เรียนในจังหวัดสมุทรสาคร โดยมีสถาบันวิจัยเพื่อการประเมินและออกแบบนโยบาย (RIPED) ทำหน้าที่ดำเนินการประเมินผลกระทบ (impact evaluation)

การดำเนินโครงการ (Implementation)
ปัจจัยนำเข้า (Inputs) มีตัวอย่างดังต่อไปนี้
1. การจัดอบรมครูออนไลน์
2. การจัดเวลาไว้สำหรับให้คำปรึกษาผ่านระบบออนไลน์แก่คุณครูเป็นเวลา 5 ชั่วโมง ต่อเดือน
3. การสนับสนุนค่าใช้จ่ายสำหรับชุดการเรียนรู้ (Learning box) และแพ็กเกจอินเทอร์เน็ต [ตัวชี้วัด: งบค่าใช้จ่ายที่นำมาเบิกเพื่อจัดหาสื่อการเรียนรู้ ค่าอินเตอร์เน็ต เป็นต้น]
4. สร้างสื่อดิจิทัลแบบไมโครเลิร์นนิ่ง (Micro Learning) เป็นจำนวน 360 บทเรียน
5. สื่อการเรียนรู้ เช่น ใบงาน ใบความรู้ เป็นต้น [ตัวชี้วัด: จำนวนสื่อการเรียนรู้ จำนวนตามประเภท วิชา และชั้นเรียน เป็นต้น]
6. บทเรียนให้ความรู้ความเข้าใจเพื่อการมีส่วนร่วมของผู้ปกครองและอาสาสมัครชุมชน [ตัวชี้วัด: จำนวนบทเรียนให้ความรู้ความเข้าใจเพื่อการมีส่วนร่วม ของผู้ปกครองและอาสมัครชุมชน เป็นต้น]

ผลผลิต (Outputs) มีตัวอย่างดังต่อไปนี้
1. ครูได้เข้าร่วมอบรมกระบวนการสอนแบบผสมผสาน (Blended Learning) หรือ การจัดการเรียนการสอนเชิงรุก (Active learning) [ตัวชี้วัด: จำนวนครั้งและชั่วโมงที่ครูเข้าร่วมอบรม จำนวนครูที่เข้าร่วมการอบรม เป็นต้น]
2. ครูได้รับคำปรึกษาและแนวทางการแก้ปัญหาเป็นระยะ ๆ [ตัวชี้วัด: จำนวนครั้งและชั่วโมงที่ครูได้รับคำปรึกษา]
3. ชุดการเรียนรู้ (Learning box) ไมโครเลิร์นนิ่ง (Micro Learning) และใบงาน ใบความรู้ [ตัวชี้วัด: จำนวนชุดการเรียนรู้ จำนวนใบงาน ใบความรู้ เป็นต้น]
4. การเข้าถึงอินเตอร์เน็ตเพื่อใช้ในการเรียนสอน [ตัวชี้วัด: จำนวน ความถี่ และระยะเวลาในการเข้าใช้งานอินเตอร์เน็ตสำหรับการเรียนการสอน เป็นต้น]
5. ผู้ปกครองและชุมชนมีส่วนร่วมในการจัดการเรียนการสอนให้เด็ก [ตัวชี้วัด: จำนวนชั่วโมงที่ผู้ปกครองหรือชุมชนใช้เวลาในการจัดการเรียนการสอนกับเด็ก เป็นต้น]

การประเมินผลโครงการ (Program assessment)
ผลลัพธ์ (Outcomes) มีตัวอย่างดังต่อไปนี้
1. ครูนำกระบวนการและวิธีการสอนแบบผสมผสาน (Blended Learning) หรือการจัดการเรียนการสอนเชิงรุก (Active learning)ไปใช้กับนักเรียน [ตัวชี้วัด: คุณภาพการเรียนการสอนภายในห้องเรียนที่เป็นแบบ blended learning หรือ active learning โดยแบบ stalling เป็นต้น]
2. นักเรียนได้เรียนรู้ผ่านชุดการเรียนรู้ (Learning box) ไมโครเลิร์นนิ่ง (Micro Learning) และใบงาน ใบความรู้ [ตัวชี้วัด: จำนวนครั้งที่นักเรียนใช้ชุดการเรียนรู้ ไมโครเลิร์นนิ่ง และใบงาน ใบความรู้ เป็นต้น]

ผลกระทบ (Impact) ที่เป็นเป้าหมาย ได้แก่
1. นักเรียนมีทักษะวิชาคณิตศาสตร์ และภาษาไทยสูงขึ้น [ตัวชี้วัด: คะแนนสอบวิชาคณิตศาสตร์และภาษาไทยของนักเรียน]
2. นักเรียนมีปัญหาด้านพฤติกรรม อารมณ์และสังคมน้อยลง [ตัวชี้วัด: จำนวนนักเรียนที่มีปัญหาด้านพฤติกรรม ด้านอารมณ์และสังคม จัดกลุ่มด้วยคะแนนจากแบบสอบถามเกี่ยวกับพฤติกรรม อารมณ์ และสังคม เป็นต้น]
ผลกระทบระยะยาว (Long-term impact) ในโครงการนี้ อาทิเช่น นักเรียนมีพัฒนาการสอดคล้องกับเกณฑ์ในสถานการณ์ปกติ [ตัวชี้วัด: จำนวนนักเรียนที่หลุดออกจากระบบการศึกษา อัตราการเรียนจบชั้นมัธยมศึกษา อัตราการเรียนต่อระดับอุดมศึกษา เป็นต้น]

ทำไมเราต้องใส่ใจในทีละขั้นตอนเหล่านี้
เราจำเป็นต้องคิดถึงกลไกการทำงานของมาตรการ/โครงการให้ถี่ถ้วนตลอดทั้งกระบวนการและคำนึงถึงการติดตามผลในระยะต่าง ๆ เนื่องจากจะทำให้เราสามารถทราบได้ว่าองค์ประกอบส่วนใดที่เป็นอุปสรรคหรือสิ่งส่งเสริมต่อผลของมาตรการ/โครงการนั้น ๆ
การติดตามผลในส่วนของปัจจัยนำเข้า (input) กิจกรรม (activities) และผลผลิต (output) จะทำให้เราสามารถพิจารณากระบวนการ (process) ของการดำเนินงานได้ ในขณะที่การติดตามผลในส่วนของผลลัพธ์ (outcome) และการบรรลุเป้าหมาย (impact) จะช่วยให้เราทราบว่าทฤษฎีที่ใช้ทำนายการ เปลี่ยนแปลงนั้นใช้ได้หรือไม่
ทั้งนี้ แผนภาพด้านล่างอธิบายกรณีตัวอย่าง ดังต่อไปนี้
กรณีที่ 1: เมื่อการนำโครงการไปใช้นั่นได้ผลดี โดยมีการดำเนินการต่างๆ ล้วนเป็นไปตามแผนที่วางไว้ด้วย

กรณีที่ 2: เมื่อผลลัพธ์และผลกระทบของโครงการไม่เป็นไปตามเป้าหมายที่ตั้งไว้ เนื่องมาจากการดำเนินการที่ไม่เป็นไปตามแผน

กรณีที่ 3: เมื่อผลลัพธ์และผลกระทบของโครงการไม่เป็นไปตามเป้าหมายที่ตั้งไว้ ทั้ง ๆ ที่การดำเนินการเป็นไปตามแผนทุกอย่าง กรณีนี้แสดงให้เห็นว่าทฤษฎีที่คิดไว้ไม่สามารถใช้เปลี่ยนแปลงการตัดสินใจหรือพฤติกรรมของกลุ่มเป้าหมายได้

จะเห็นได้ว่าหากเราไม่ได้เก็บข้อมูลหรือติดตามผลในแต่ละขั้นตอน และในท้ายที่สุดเห็นว่าโครงการไม่ได้บรรลุเป้าหมาย เราจะไม่สามารถอธิบายได้ว่าสาเหตุที่โครงการไม่บรรลุเป้าหมายนั้นมาจากการดำเนินงานที่ไม่เป็นไปตามแผน (failed implementation) หรือมาจากทฤษฎีที่ไม่ได้ผล (theory failure)

สรุป
– การประเมินผลโครงการ คือการวัดว่าโครงการบรรลุเป้าหมายหรือไม่
– องค์ประกอบสำคัญในการดำเนินการประเมินผลโครงการ คือการคำนึงถึงกลไกการทำงานของโครงการอย่างถี่ถ้วน การติดตาม วัดผล และประเมินกระบวนการไปทีละขั้น
– บทเรียนที่ได้จากการประเมินผลโครงการ คือ หากโครงการได้ผลดี เราจะทราบว่าทำไมมันจึงได้ผล แต่หากโครงการไม่บรรลุเป้าหมาย เราจะทราบว่าตรงส่วนไหนที่เป็นอุปสรรค