การสุ่ม (randomization)
หลักการโดยทั่วไปของการประเมินผลของโครงการนั้นคือ การเปรียบเทียบผลลัพธ์ที่เราสนใจ ระหว่างกลุ่มที่ได้รับโครงการ กับกลุ่มที่ไม่ได้รับโครงการ ดังนั้นผลการประเมินฯ จะถูกต้องและแม่นยำแค่ไหน ขึ้นอยู่กับคุณภาพในการสร้างกลุ่มเปรียบเทียบซึ่งเป็นตัวแทนของกลุ่มคนที่ไม่ได้รับโครงการ ให้มีลักษณะเหมือนกับกลุ่มที่ได้รับโครงการ (ในโลกคู่ขนานที่ไม่มีโครงการนี้) ว่าทำได้ดีแค่ไหน โดยวิธีการประเมินผลโครงการแบบต่าง ๆ ก็มีกลุ่มเปรียบเทียบที่แตกต่างกันไป
วิธีการที่สามารถสร้างกลุ่มเปรียบเทียบได้สมจริงวิธีหนึ่งคือการสุ่มแบ่งคนออกเป็นกลุ่มที่ได้รับโครงการ และกลุ่มเปรียบเทียบหรือกลุ่มควบคุมที่ไม่ได้รับโครงการ ภายใต้เงื่อนไขว่าต้องมีจำนวนตัวอย่างมากพอสำหรับการสุ่ม ซึ่งวิธีการสุ่มนี้ใช้ในการประเมินผลโครงการด้วยวิธีการทดลองสุ่มแบบมีกลุ่มควบคุม (randomized controlled trial: RCT) (ดูรูปที่ 1 ประกอบ)
หากผู้ประเมินโครงการได้ออกแบบและดำเนินการการประเมินได้อย่างเหมาะสมและระมัดระวังแล้ว จะทำให้ได้กลุ่มที่ได้รับและไม่ได้รับโครงการมีความคล้ายคลึงกันในช่วงก่อนเริ่มให้โครงการ ทั้งลักษณะที่สังเกตได้ เช่น อายุ เพศ เศรษฐฐานะ หรือคะแนนสอบ เป็นต้น และลักษณะที่สังเกตไม่ได้ เช่น ความตั้งใจ ความอดทน เป็นต้น ดังนั้นหากผลลัพธ์ที่เราสนใจ มีความแตกต่างระหว่างกลุ่ม เราจะสามารถบอกได้ว่าเป็นผลมาจากโครงการไม่ได้มาจากปัจจัยอื่น ๆ
วิธีการต่าง ๆ ที่ใช้ในการประเมินผลโครงการโดยทั่ว ๆ ไป ประกอบไปด้วย
– การทดลองแบบสุ่มที่มีกลุ่มควบคุม (randomized controlled trial – RCT)
– การเปรียบเทียบข้อมูลผลลัพธ์ของกลุ่มที่ได้รับและไม่ได้รับโครงการอย่างชาญฉลาด ด้วยการวิธีการเลียนแบบการทดลอง
– การจำลองกลไก (mechanism) พฤติกรรม (behavior) และทำนายผลของนโยบาย (simulation)
หลักคิดทั่วไปของการประเมินโครงการคือ การเปรียบเทียบผลลัพธ์ของสองกลุ่ม (รายปัจเจก หรือบริษัท โรงเรียน เป็นต้น) โดยกลุ่มทดลองได้รับโครงการหรือนโยบาย และอีกกลุ่มไม่ได้รับ ทั้งนี้ต้องหาวิธีควบคุมอิทธิพลจากปัจจัยที่อาจะส่งผลต่อผลลัพธ์ที่เราสนใจด้วย (confounding factors)
ทั้งนี้ ในบทความนี้และในบทต่อ ๆ ไป เราจะเน้นให้ความรู้และข้อมูลเกี่ยวกับการประเมินผลโครงการด้วยวิธี randomized controlled trial (RCT)
ที่มา: Glennerster and Takavarasha (2013)
ในหัวข้อนี้เราจะมาเรียนรู้เกี่ยวกับการสุ่มว่าทำตอนไหนได้บ้าง ข้อควรระวังในการเลือกระดับการสุ่ม (เช่น บุคคล ครัวเรือน ห้องเรียน โรงเรียน หมู่บ้าน หรือตำบล เป็นต้น) และมีวิธีการสุ่มอย่างไรบ้าง
โอกาสสำหรับการทำการทดลองแบบสุ่ม
หลักการโดยทั่วไปของการประเมินผลโครงการด้วย RCT คือ คนที่ได้รับการสุ่มให้อยู่ในกลุ่มที่ได้รับโครงการ (treatment group) ต้องมีโอกาสที่จะได้รับโครงการสูงกว่าคนที่ได้รับการสุ่มให้อยู่ในกลุ่มเปรียบเทียบหรือกลุ่มควบคุม (comparison/control group)
สำหรับการทำให้คนจากแต่ละกลุ่มได้รับโครงการแตกต่างกัน สามารถทำได้ใน 3 แง่มุม ดังต่อไปนี้
– การเข้าถึงโครงการ (access): ผู้ประเมินควรเสนอโครงการให้ใครบ้าง
โดยทั่วไปคือให้กลุ่มที่ได้รับการสุ่มให้ได้รับโครงการ และกลุ่มเปรียบเทียบไม่สามารถเข้าถึงโครงการได้ยกตัวอย่าง เช่น มีโครงการแจกหนังสือเรียนฟรี ที่มีจำนวนหนังสือจำกัดเพียง 100 โรงเรียน ผู้ประเมินโครงการสามารถจัดทำรายชื่อโรงเรียนกลุ่มเป้าหมายไว้จำนวน 200 โรงเรียน จากนั้นสุ่มเลือก 100 โรงเรียน ให้ได้รับหนังสือเรียนฟรีในช่วงที่มีการประเมิน ส่วนอีก 100 โรงเรียน ไม่ได้รับหนังสือฟรีจากโครงการ
– จังหวะเวลา (timing): คนแต่ละกลุ่มจะเข้าถึงโครงการได้เมื่อไหร่
ในกรณีที่กลุ่มเป้าหมายทุกคนควรต้องได้รับโครงการ ทำให้โครงการไม่สามารถสุ่มแค่คนบางกลุ่มให้ได้รับโครงการได้ แต่เพื่อที่จะทำให้สามารถทำการประเมินโครงการโดยใช้ RCT ได้ ทางโครงการอาจสุ่มเลือกได้ว่าจะให้กลุ่มไหนได้รับโครงการก่อน และกลุ่มที่เหลือได้รับโครงการหลังจากนั้น และวิธีนี้สามารถใช้ได้เมื่อโครงการมีแผนที่จะค่อย ๆ ให้โครงการกับกลุ่มเป้าหมาย ด้วยลักษณะแบบเป็นช่วง ๆ อยู่แล้ว ยกตัวอย่าง เช่น โครงการแจกแท็บเล็ตฟรีให้กับเด็กประถมศึกษาทุกคนใน 75 โรงเรียน ทางโครงการมีแผนค่อย ๆ ให้แท็บเล็ตโดยแบ่งเป็นสามปี ปีละ 25 โรงเรียน เช่นนี้แล้วทางโครงการสามารถสุ่มเลือกโรงเรียน 25 แห่ง ให้ได้รับแท็บเล็ตในปีแรก โรงเรียนอีก 25 แห่ง ให้ได้รับแท็บเล็ตในปีที่สอง และโรงเรียนที่เหลืออีก 25 แห่ง ให้ได้รับแท็บเล็ตในปีสุดท้าย (ดูตารางที่ 1 ประกอบ) เช่นนั้นแล้ว ในปีแรกจะมีกลุ่ม 1 เป็นกลุ่มที่ได้รับโครงการเพียงกลุ่มเดียว และกลุ่ม 2 และ 3 เป็นกลุ่มเปรียบเทียบ ส่วนในปีที่ 2 จะมีกลุ่ม 1 และ 2 เป็นกลุ่มที่ได้รับโครงการ และกลุ่ม 3 เป็นกลุ่มเปรียบเทียบเพียงกลุ่มเดียว และในปีที่ 3 ทั้งสามกลุ่มจะได้รับโครงการ และไม่มีกลุ่มเปรียบเทียบ
ตารางที่ 1: การสุ่มช่วงเวลาในการได้รับโครงการ
ปีที่ | กลุ่ม 1 | กลุ่ม 2 | กลุ่ม 3 |
1 | ได้รับแท็บเล็ต | กลุ่มเปรียบเทียบ | กลุ่มเปรียบเทียบ |
2 | ได้รับแท็บเล็ต | ได้รับแท็บเล็ต | กลุ่มเปรียบเทียบ |
3 | ได้รับแท็บเล็ต | ได้รับแท็บเล็ต | ได้รับแท็บเล็ต |
– การกระตุ้นให้เข้ารับโครงการ (Encouragement): ใครที่จะได้รับการกระตุ้นให้เข้ารับโครงการ
ในกรณีที่โครงการได้เปิดโอกาสให้กับกลุ่มเป้าหมายทุกคน แต่มีเพียงบางคนที่เข้าร่วมโครงการ ทางโครงการสามารถสุ่มเลือกกลุ่มคนที่จะได้รับการกระตุ้นเป็นพิเศษเพื่อให้เข้ารับโครงการ ส่วนคนอีกกลุ่มจะไม่ได้รับการกระตุ้นนี้ ยกตัวอย่าง เช่น โครงการเสนอขายประกันผลผลิตทางการเกษตร สมมติว่าโครงการเสนอขายประกันนี้ให้กับ 250 ครัวเรือน และมี 50 ครัวเรือนที่ซื้อประกันนี้ ครัวเรือนส่วนที่เหลือ อีก 200 ครัวเรือน จะได้รับการสุ่มแบ่งออกเป็น 2 กลุ่ม และกลุ่มหนึ่งจะได้รับจดหมายข้อเสนอโครงการ โดยกล่าวถึงผลประโยชน์ของการมีประกันผลผลิตและได้รับการเสนอความช่วยเหลือในการกรอกเอกสารด้วย กรณีอื่น ๆ ที่สามารถใช้วิธีนี้ได้ เช่น การกระตุ้นให้มารับวัคซีนป้องกันโรคต่าง ๆ หรือการเข้ารับการตรวจสุขภาพ หรือการตรวจคัดกรองโรคมะเร็ง เป็นต้น
เราสามารถทำการสุ่มได้ในตอนไหนบ้าง
โดยทั่วไปแล้ว เราจะมีโอกาสสำหรับการสุ่มเมื่อมีการออกแบบวิธีการใหม่ในการแก้ปัญหาอะไรสักอย่าง หรือเมื่อมีการริเริ่มทำโครงการใหม่ หรือเมื่อทรัพยกร (เช่น งบประมาณ) จำกัดในการให้บริการแก่กลุ่มเป้าหมายทุกคน ตัวอย่างของโอกาสในการสุ่ม มีดังต่อไปนี้ (ดูตารางที่ 2 ประกอบ)
ตารางที่ 2: โอกาสสำหรับการสุ่ม
โอกาส | คำอธิบาย |
การออกแบบโครงการแบบใหม่ | เมื่อยังไม่มีข้อตกลงที่ชัดเจนว่าจะแก้ปัญหาที่สนใจได้อย่างไร และผู้ประเมินทำงานร่วมกับผู้ปฏิบัติงานในการออกแบบโครงการ และจากนั้นได้ทดลองใช้โครงการนี้ |
โครงการใหม่ | เมื่อมีโครงการใหม่ และต้องการทดลองโครงการ |
การบริการแบบใหม่ | เมื่อโครงการที่ดำเนินการอยู่แล้ว ให้การบริการแบบใหม่ |
กลุ่มเป้าหมายใหม่ | เมื่อโครงการได้ขยายการดำเนินงานไปสู่กลุ่มเป้าหมายใหม่ |
พื้นที่ใหม่ | เมื่อโครงการได้ขยายการดำเนินงานไปสู่พื้นที่ใหม่ |
การลงชื่อเข้าร่วมโครงการที่มากเกินไป | เมื่อมีคนให้ความสนใจเข้าร่วมโครงการ มากเกินกว่าที่โครงการจะรับได้ |
การลงชื่อเข้าร่วมโครงการที่น้อยเกินไป | เมื่อกลุ่มเป้าหมายที่ผ่านเกณฑ์เข้าร่วมโครงการ ไม่เข้าร่วมโครงการทุกคน |
โครงการแบบมีการผลัดเวียน | เมื่อมีความสนใจเข้าร่วมโครงการมากกว่าที่ทรัพยากรในโครงการจะรับได้ แต่ผู้เข้าร่วมโครงการสามารถร่วมกันรับผลประโยชน์และต้นทุนของโครงการ ด้วยการผลัดเวียนการได้รับโครงการไปเรื่อย ๆ |
เกณฑ์การรับเข้าโครงการ | เมื่อโครงการมีเกณฑ์การคัดเข้า และคนที่อยู่ต่ำกว่าเกณฑ์เล็กน้อยสามารถได้รับการสุ่มเข้าโครงการได้ เพื่อสร้าง treatment group ส่วนคนที่อยู่ต่ำกว่าเกณฑ์และไม่ได้รับการสุ่มก็เป็น control group |
การรับเข้าโครงการเป็นช่วง ๆ | เมื่อมีข้อจำกัดในด้านการจัดการและทรัพยากร ที่ทำให้ไม่ใช่ผู้ได้ผลประโยชน์จะได้รับโครงการนี้พร้อม ๆ กัน และสามารถสุ่มคนเหล่านี้ให้ได้รับโครงการที่ต่างช่วงเวลากัน ดังนั้นเมื่อสิ้นสุดโครงการทุกคนจะได้รับโครงการนี้เหมือนกัน (ดูตาราง 1 ประกอบ) |
ที่มา: Glennerster and Takavarasha (2013)
ระดับในการสุ่ม (level of randomization)
แน่นอนว่าโครงการและนโยบายส่วนใหญ่มีเป้าหมายที่จะพัฒนาชีวิตของคนให้ถึงระดับบุคคล (individual) แต่มักจะต้องทำงานร่วมกับกลุ่มเป้าหมายในลักษณะเป็นกลุ่มคน เช่น โรงเรียน กลุ่มออมทรัพย์ ครัวเรือน หรือชุมชน เมื่อเราออกแบบการประเมินผลแบบที่มีการสุ่ม เราจึงต้องตัดสินใจว่าจะสุ่มให้คนคนหนึ่งอยู่ในหรือนอกโครงการ หรือจะสุ่มให้คนทั้งกลุ่มอยู่ในหรือนอกโครงการ
บางโครงการดำเนินการในหลายระดับ เช่น ในกรณีการให้เงินกู้ของสถาบันการเงินระดับท้องถิ่น (เช่น สหกรณ์ หรือธนาคารสาขาในท้องถิ่น เป็นต้น) สถาบันการเงินระดับท้องถิ่นหลายแห่ง ให้เงินกู้แก่สมาชิกระดับบุคคล ผ่านทางกลุ่มออมทรัพย์ที่อยู่ในเครือข่ายของสาขาของสถาบันการเงินท้องถิ่นนั้น ๆ โดยสถาบันการเงินจะส่งเจ้าหน้าที่เข้าไปตรวจสอบและดูแลสาขาต่าง ๆ อย่างสม่ำเสมอ และเจ้าหน้าที่คนหนึ่งอาจจะรับผิดชอบดูแลหลายสาขา สำหรับการประเมินผลโครงการ ผู้ประเมินสามารถทำการสุ่มให้โครงการได้ทั้งในระดับบุคคล กลุ่มออมทรัพย์ในชุมชน หมู่บ้าน หรือเจ้าหน้าที่ผู้ดูแลสาขา อย่างไรก็ตามยิ่งสุ่มในระดับที่สูงขึ้นเท่าไหร่ ก็จะยิ่งต้องเก็บข้อมูลของคนจำนวนมากขึ้นไปด้วย
โดยทั่วไปแล้วระดับการสุ่มมักจะขึ้นอยู่กับระดับ (เช่น บุคคล ครัวเรือน หมู่บ้าน ตำบล อำเภอ หรือจังหวัด เป็นต้น) ที่เราดำเนินการโครงการ เช่น หากเป็นโครงการที่ต้องให้ทั้งหมู่บ้านเป็นระดับเล็กที่สุดที่ได้รับมาตรการแบบเดียวกัน ระดับการสุ่มก็มักจะเป็นหมู่บ้าน โดยเราจะสุ่มให้บางหมู่บ้านได้รับโครงการ บางหมู่บ้านไม่ได้รับโครงการ เนื่องจากเราไม่สามารถกันคนในหมู่บ้านบางคนออกจากมาตรการได้ อย่างไรก็ตามเราสามารถเลือกระดับอื่น ๆ ที่ใหญ่ขึ้นเป็นระดับการสุ่มได้ โดยหัวข้อหลักที่ใช้พิจารณาในการเลือกระดับการสุ่มมีดังที่แสดงใน ตารางที่ 3
ตาราง 3: หัวข้อสำหรับใช้พิจารณาเลือกระดับการสุ่ม
หัวข้อการพิจารณา | คำถามที่ต้องตอบ |
ระดับในการวัดผล (unit of measurement) | ระดับในการวัดผลของเราคืออะไร |
การที่ผลล้นข้ามไปยังหน่วยอื่น (spillovers) | จะมี spillovers ไหม / เราต้องการให้ค่าประมาณของผลกระทบรวม spillovers เข้าไปด้วยหรือไม่ / เราต้องการวัด spillovers ด้วยหรือไม่ |
การลดลงของจำนวนตัวอย่าง (attrition) | ใช้ระดับไหนแล้ว จะทำให้กลุ่มตัวอย่างถอนตัวออกจากโครงการ (หรือหายไปจากโครงการ) น้อยที่สุด |
การปฏิบัติตามมาตรการที่ได้รับ (compliance) | ใช้ระดับไหนแล้ว จะทำให้กลุ่มตัวอย่างปฏิบัติตามมาตรการที่ได้รับการสุ่มได้มากที่สุด |
ขนาดตัวอย่าง อำนาจการทดสอบ (statistical power) | ระดับไหน ที่ให้ความน่าจะเป็นสูงสุดที่จะทดสอบผลของมาตรการได้ ถ้าเราสุ่มที่ระดับกลุ่ม เรายังจะมีขนาดกลุ่มตัวอย่างที่ใหญ่พอหรือไม่ |
ความเป็นไปได้ (feasibility) | ระดับไหนที่เป็นไปได้ทั้งในแง่จริยธรรมการวิจัย งบประมาณ การเมือง (politically) และการดำเนินงาน (logistically) / ระดับไหนที่ง่ายที่สุด และระดับไหนที่ใช้งบประมาณน้อยที่สุด |
ที่มา: Glennerster and Takavarasha (2013)
ระดับในการวัดผล
ระดับในการสุ่มย่อมต้องเป็นระดับเดียวกันกับระดับในการวัดผลหรือสูงกว่า ลองจินตนาการว่าเราต้องการศึกษาผลของการขึ้นเงินเดือนพนักงาน ต่อผลิตภาพของบริษัท เราอาจจะสามารถสุ่มการขึ้นเงินเดือนให้พนักงานเป็นรายบุคคล แต่เราจะสามารถวัดผลิตภาพได้เพียงในระดับบริษัทเท่านั้น ดังนั้นเราจะจึงต้องสุ่มมาตรการนี้ในระดับบริษัท
Spillovers
มาตรการต่าง ๆ สามารถส่งผลทางตรงหรือทางอ้อม เราเรียกผลทางอ้อมว่า spillovers หรือผลกระทบภายนอก (externalities) โดย spillovers สามารถมีได้หลายรูปแบบ และอาจจะเป็นผลดีหรือผลเสียได้ ตัวอย่างของ spillovers มีดังต่อไปนี้
- เชิงกายภาพ: เด็กที่ได้รับวัคซีนจากโครงการ สามารถช่วยลดการติดต่อของโรคนั้นในชุมชนได้ หรือครัวเรือนที่ใช้มุ้งที่ได้รับจากโครงการ สามารถช่วยลดอัตราการติดเชื้อมาลาเรียในชุมชนได้
- เชิงพฤติกรรม: ครัวเรือนเปลี่ยนห้องน้ำใหม่ให้ถูกสุขลักษณะ หลังจากที่เห็นข้างบ้านใช้ห้องน้ำแบบนี้ที่ได้รับจากโครงการ
- เชิงข้อมูล: เมื่อประชาชนได้ทราบถึงประโยชน์ของมุ้งกันยุงจากคนอื่นที่เคยได้รับมุ้งจากโครงการมาก่อน
- ผลกระทบต่อดุลยภาพของตลาด: ผู้สูงอายุถูกไล่ออกจากงานเพราะบริษัทได้รับการสนับสนุนทางการเงินจากโครงการในการจ้างงานคนอายุน้อย
หากคนในกลุ่มควบคุมและกลุ่ม treatment ไม่มีปฏิสัมพันธ์ใด ๆ ต่อกัน ไม่ว่าช่องทางใด ก็จะไม่มีปัญหา spillovers ซึ่ง spillovers จะทำให้เกิดปัญหาในการประเมินผลโครงการได้ หากกลุ่มควบคุมที่ไม่ควรได้รับโครงการได้รับพฤติกรรมหรือได้รับผลกระทบภายนอกจากเพื่อนบ้าน (หรือคนในหมู่บ้าน ชุมชน โรงเรียน โรงพยาบาล เดียวกัน เป็นต้น) ที่อยู่ในกลุ่มมาตรการ (treatment group) ซึ่งจะทำให้ความแตกต่างของผลลัพธ์จากกลุ่มควบคุมและมาตรการไม่สามารถบ่งบอกถึงผลของโครงการได้อีกต่อไป
Spillovers สามารถเกิดขึ้นได้ เมื่อกลุ่มควบคุมและกลุ่ม treatment มีอะไรบางอย่างร่วมกันที่ทำหน้าที่เป็นเหมือนช่องทางการติดต่อได้ ยิ่งทั้งสองกลุ่มมีความใกล้ชิดกันมากเท่าไหร่ ความน่าจะเป็นที่จะเกิด spillovers ยิ่งสูงขึ้นเท่านั้น ดังนั้น การเลือกระดับในการสุ่มที่ทำให้มีการปฏิสัมพันธ์เฉพาะในกลุ่มเดียวกันเท่านั้น จะสามารถป้องกันการเกิด spillovers ได้
Attrition
Attrition หมายถึงสถานการณ์เมื่อเราไม่มีข้อมูลเกี่ยวกับผลลัพธ์ของกลุ่มตัวอย่างบางคน ซึ่งสามารถเกิดขึ้นได้เมื่อมีคนออกจากโครงการ (drop out) หรือกลุ่มตัวอย่างบางคนปฏิเสธที่จะตอบคำถามบางคำถาม หรือเมื่อผู้เก็บข้อมูลไม่สามารถหากลุ่มตัวอย่างบางคนเจอในระหว่างการเก็บข้อมูลผลลัพธ์
การเลือกระดับในการสุ่ม สามารถลดอัตราการออกจากโครงการได้ เนื่องจากการสุ่มในระดับที่เล็กไป อาจทำให้คนไม่ได้รับการสุ่มเข้าโครงการ (กลุ่มควบคุม) รับรู้ได้ง่ายขึ้นว่ามีโครงการ และเกิดความไม่พอใจที่ไม่ได้รับเลือกเข้าโครงการ จึงไม่ให้ความร่วมมือในการเก็บข้อมูลกับทางโครงการ (ซึ่งจำเป็นต้องเก็บข้อมูลของกลุ่มควบคุมเพื่อนำมาใช้ในการเปรียบเทียบ) ดังนั้นการใช้ระดับการสุ่มที่สูงขึ้นจะทำให้คนที่อยู่ใกล้กันได้อยู่ในกลุ่มการทดลองเดียวกัน และน่าจะลดโอกาสที่จะเกิดความไม่พอใจดังกล่าวข้างต้นได้ และช่วยลด attrition ได้ อย่างไรก็ตาม ในสถานการณ์จริง attrition ส่วนใหญ่มักมาจากการย้ายที่อยู่ หรือเห็นว่าการสำรวจมีขนาดยาวเกินไป
Compliance
ผู้ประเมินโครงการย่อมต้องให้ทุกอย่างเป็นไปตามแผนให้ได้มากที่สุด เช่น ต้องการให้ผู้ดำเนินโครงการทำการทดลองได้อย่างที่วางแผนไว้ และต้องการให้ผู้เข้าร่วมโครงการได้รับมาตรการ (หรือไม่ได้มาตรการ) ตามที่ได้รับการสุ่มว่าอยู่กลุ่มไหน ซึ่งการเลือกระดับในการสุ่มก็สามารถส่งผลต่อ compliance (หรือการปฏิบัติตนตามมาตรการที่ได้รับ) ได้เช่นเดียวกัน
สำหรับผู้ดำเนินโครงการ: ในบางครั้งผู้ดำเนินการโครงการอาจเห็นว่าผลการสุ่มเข้าโครงการนั้นไม่เป็นธรรมสำหรับผู้เข้าร่วมโครงการบางคน หรือผลการสุ่มนั้นทำให้การทำงานยากขึ้น เช่น มีเด็กขาดแคลนสองคนที่มาตรการนี้มีความจำเป็นต่อทั้งสองคนมากพอ ๆ กัน เจ้าหน้าที่บางคนอาจเลือกที่จะแบ่งมาตรการให้เด็กทั้งสองคนเท่า ๆ กัน แทนที่จะได้มาตรการทั้งหมดให้เด็กที่ได้รับการสุ่มเข้ากลุ่มมาตรการเพียงคนเดียว ตามที่การออกแบบการทดลองได้กำหนดไว้ หรือครูอาจจะต้องสอนหลักสูตรหนึ่งให้เด็กห้องหนึ่ง และสอนอีกหลักสูตรให้เด็กอีกห้องหนึ่ง ในบางครั้งครูท่านนี้อาจจะสับสนและใช้หลักสูตรสลับกันได้ วิธีป้องการการผิดพลาดเช่นนี้คือ พยายามป้องกันการเกิดสถานการณ์ที่น่าลำบากใจนี้ และลดขั้นตอนที่สับสน ด้วยการเลือกระดับในการสุ่มที่เหมาะสม เช่น สุ่มในระดับที่ทำให้ครูหนึ่งคนไม่ต้องสอนหลายหลักสูตร
สำหรับผู้เข้าร่วมโครงการ: หากมีการสุ่มในระดับที่เล็กเกินไป ดังที่กล่าวในเรื่องของ attrition แล้ว อาจจะทำให้ผู้ที่ได้รับการสุ่มให้ได้รับมาตรการ ทำตัวเหมือนไม่ได้รับมาตรการได้ หากเขาไม่ได้อยากปฏิบัติตามข้อกำหนด ในทางกลับกันผู้ที่ได้รับการสุ่มให้อยู่ในกลุ่มควบคุม อาจจัดหามาตรการมาใช้เอง จากที่ได้เห็นจากกลุ่มที่ได้รับมาตรการ นอกจากนี้ยังมีตัวอย่างของการแบ่งกันใช้สิ่งของที่ได้รับจากโครงการกันทั้งครัวเรือน หากมีสมาชิกครัวเรือนได้รับการสุ่มเข้าโครงการ ในกรณีเราสามารถแก้ปัญหาได้โดยยกระดับการสุ่มให้เป็นระดับที่ใหญ่ขึ้น
วิธีการสุ่ม
การสุ่มอย่างง่าย (simple randomization)
เมื่อให้ลองจินตนาการถึงการสุ่มอย่างง่าย เราจะนึกถึงอะไรก่อน แน่นอน เรานึกถึงการจับสลาก การจับใบดำใบแดง การทอยลูกเต๋า เป็นต้น ซึ่งถ้าท่านนึกถึงสิ่งเหล่านี้ได้ ท่านก็มาถูกทางแล้ว
ส่วนประกอบที่ต้องใช้ในการสุ่ม มีดังต่อไปนี้
- รายชื่อของหน่วยที่ผ่านเกณฑ์เข้ามารอรับการสุ่ม ซึ่งอาจจะเป็นรายชื่อคน รายชื่อโรงเรียน ตำบล อำเภอ หรือจังหวัด เป็นต้น เราจะได้รายชื่อนี้มาจากข้อมูลทะเบียนต่าง ๆ เช่น ข้อมูลของทางโรงเรียน ข้อมูลสำรวจสำมะโนประชากร เป็นต้น
- จำนวนกลุ่มการทดลอง (รวมกลุ่มควบคุม)
- สัดส่วนของกลุ่มตัวอย่างที่ต้องการแบ่งให้สำหรับแต่ละกลุ่มทดลอง
- อุปกรณ์สำหรับการสุ่ม ซึ่งจำเป็นมากที่จะได้ถูกมองว่าเป็นเครื่องมือที่เที่ยงตรง และยุติธรรม ตามตัวอย่างดังต่อไปนี้ a. สำหรับความน่าจะเป็นที่คงที่ (fixed probability) เช่น การโยนเหรียญ การทอยลูกเต๋า การจับไม้สั้นไม้ยาว เป็นต้น b. สำหรับสัดส่วนที่คงที่ (fixed proportion) เช่น การจับสลาก การจับใบดำใบแดง c. อุปกรณ์คอมพิวเตอร์ เช่น การใช้โปรแกรมคำนวณทางสถิติทั้งหลายสุ่มสร้างตัวเลขขึ้นมาเพื่อใช้ในการสุ่ม
เมื่อสุ่มเสร็จแล้ว ควรมีการเปรียบเทียบคุณลักษณะต่าง ๆ (ที่มีการบันทึกข้อมูลเบื้องต้นไว้) ระหว่างกลุ่ม เพื่อตรวจสอบว่าก่อนที่จะได้รับมาตรการใด ๆ แต่ละกลุ่มการทดลองมีลักษณะคล้ายกันหรือไม่ หากผลการสุ่มเป็นไปด้วยดี เราจะเห็นว่ากลุ่มการทดลองทุกกลุ่มมีลักษณะพื้นฐานที่ไม่แตกต่างกัน อย่างไรก็ตาม การสุ่มอย่างง่ายอาจจะไม่สามารถทำให้ผลการสุ่มมีลักษณะพื้นฐานไม่แตกต่างกันได้ในทุกกรณี โดยเฉพาะในกรณีที่เรามีจำนวนตัวอย่างขนาดเล็ก
การสุ่มแบบแบ่งกลุ่ม (stratified randomization)
ในกรณีที่เราต้องการสุ่มอย่างระมัดระวังมากขึ้น เราควรใช้ข้อมูลลักษณะพื้นฐานของกลุ่มตัวอย่างมาใช้แบ่งกลุ่มในการสุ่ม (stratify) เพื่อช่วยเพิ่มโอกาสให้เราสามารถสุ่มเพื่อให้ได้กลุ่มทดลองต่าง ๆ ที่มีลักษณะไม่แตกต่างกัน หมายถึงเราจะแบ่งกลุ่มตัวอย่างออกเป็นกลุ่มย่อย ๆ ลงไปเรื่อย ๆ โดยใช้ลักษณะพื้นฐานเป็นเกณฑ์การแบ่งกลุ่ม เช่น เพศ ช่วงอายุ ประเภทของโรงเรียน เป็นต้น เมื่อเราแบ่งกลุ่มตัวอย่างลงเป็นกลุ่มย่อยได้แล้ว เราจะสุ่มตัวอย่างในแต่ละกลุ่มย่อยให้อยู่ในทุกกลุ่มการทดลอง ดังนั้นในแต่ละกลุ่มการทดลองจึงมีตัวอย่างจากกลุ่มย่อยต่าง ๆ อย่างครบถ้วน เพราะฉะนั้นเราจึงควรเลือกตัวแปรที่ใช้สำหรับการแบ่งกลุ่มย่อย (stratify) ตามคุณลักษณะดังต่อไปนี้
- ตัวแปรที่มีลักษณะแบ่งเป็นประเภทต่าง ๆ ได้ (discrete) เช่น ประเภทของโรงเรียน คะแนนสอบ เป็นต้น
- ตัวแปรที่สัมพันธ์กับผลลัพธ์ที่เราสนใจ ควรจะมีลักษณะคล้ายคลึงกันระหว่างกลุ่มการทดลองทุกกลุ่ม เช่น การมีหนังสือนิทานที่บ้านมีผลต่อผลลัพธ์ด้านทักษะการอ่านของเด็ก เราจึงควรแบ่งกลุ่มการทดลองในแต่ละกลุ่ม ให้มีสัดส่วนของเด็กที่มีหนังสือนิทานที่บ้านเป็นสัดส่วนที่ใกล้เคียงกัน เป็นต้น
- ตัวแปรที่เราต้องการจะทำการวิเคราะห์ผลเฉพาะกลุ่มเหล่านั้น (subgroup analysis) เช่น เพศชาย เพศหญิง ครัวเรือนที่อยู่ในเขตเทศบาล ครัวเรือนที่อยู่นอกเขตเทศบาล เป็นต้น
ตัวอย่างของการสุ่มแบบแบ่งกลุ่ม
