Làm thế nào phần Bias của tiêu chí ô nhiễm góp phần vào một hệ số có hiệu lực cao giả?

Trước đó, ô nhiễm tiêu chí được xác định là một phần của tiêu chí thực tế không trùng với tiêu chí cuối cùng. Hơn nữa, nó đã chỉ ra rằng ô nhiễm tiêu chí bao gồm hai phần, lỗi và sai lệch. Lỗi, theo định nghĩa; thường được coi là biến thể ngẫu nhiên và không thể, ngoại trừ tình cờ, tương quan với bất cứ điều gì, bao gồm cả biến dự đoán. Tuy nhiên, phần sai lệch của ô nhiễm tiêu chí là sự thay đổi có hệ thống và nó có thể tương quan với yếu tố dự đoán. Điều này có thể được nhìn thấy từ mô hình của chúng tôi, trong đó ô nhiễm tương quan với yếu tố dự đoán (do đó phải là độ lệch tương quan của yếu tố dự đoán) góp phần vào tính hợp lệ thu được cao.

Những loại sai lệch nào có khả năng xâm nhập vào tiêu chí ô nhiễm và những loại nào cũng có khả năng tương quan với biến dự đoán? Có lẽ định nghĩa chính thức của Brogden và Taylor (1950) về khuynh hướng tiêu chí sẽ giúp trả lời câu hỏi này.

Họ xác định độ lệch theo thuật ngữ của bất kỳ biến số nào, ngoại trừ lỗi đo lường và lỗi lấy mẫu, tạo ra độ lệch của điểm tiêu chí thu được từ điểm số tiêu chí 'đúng' giả định. Hình 6.4 minh họa điểm này. Các yếu tố thiên vị như vậy thường xuyên hơn người ta có thể nghi ngờ và cần được bảo vệ chặt chẽ chống lại. Chúng có thể xảy ra do một loạt các trường hợp và như là một hàm của một số biến.

1. Xu hướng cơ hội:

Kiểu thiên vị tiêu chí này đề cập đến những tình huống trong đó các yếu tố ngoài tầm kiểm soát của người lao động ảnh hưởng đáng kể đến số lượng sản xuất. Ví dụ về sự thiên vị cơ hội là rất nhiều. Trong công việc bán hàng, lãnh thổ hoặc quầy bán hàng cụ thể có thể ảnh hưởng đến doanh số bán hàng của một nhân viên có lẽ thậm chí còn nhiều hơn khả năng của chính anh ta. Trong công việc nhà máy, sự thiên vị cơ hội có thể được quy cho những điều đơn giản như chất lượng của các công cụ và tình trạng của máy móc mà công nhân có, cho dù anh ta phải làm việc ca ngày hay ca đêm, nơi đặt trạm làm việc của anh ta, tốt như thế nào ánh sáng của anh ấy là, và một loạt các biến khác.

Nói tóm lại, trừ khi môi trường làm việc và công việc giống hệt nhau, việc so sánh các hồ sơ hiệu suất công việc giữa các cá nhân có những hạn chế. Nếu hiệu suất công việc có tương quan với các thiết bị dự đoán trong những trường hợp như vậy, thì người ta không có cách nào thực sự biết liệu mối tương quan kết quả có tương quan với hiệu suất công việc thực sự hay chủ yếu là tương quan với chất lượng của trạm làm việc. Mặc dù sai lệch cơ hội không nhất thiết tương quan với yếu tố dự đoán, ngay cả khi nó không có yếu tố dự đoán, nó sẽ có ảnh hưởng đến hiệu lực thu được.

Các ví dụ tinh tế khác về sự thiên vị cơ hội thường có thể được tìm thấy bằng cách kiểm tra kỹ hơn các giá trị dự đoán của các mục như tuổi và kinh nghiệm. Trong nhiều công việc, những người lớn tuổi và đã có nhiều kinh nghiệm có được điểm hiệu suất tốt hơn chỉ đơn giản là do hoàn cảnh thâm niên của công đoàn, trong đó những người này có được các trạm làm việc tốt hơn, quầy bán hàng tốt hơn, v.v.

2. Xu hướng đặc trưng của nhóm:

Một nguồn quan trọng khác của tiêu chí thiên vị liên quan đến các đặc điểm của nhóm mà một người thuộc về. Ví dụ: nếu một người thuộc nhóm hạn chế năng suất của các thành viên một cách giả tạo, sẽ có sự sai lệch rõ ràng về dữ liệu tiêu chí. Tương tự, nếu một người thuộc nhóm đã được chọn trước trên cơ sở tiên nghiệm và nếu nhóm đó được so sánh với nhóm không được chọn, bất kỳ biến chọn nào liên quan đến biến tiên nghiệm đều có thể hiển thị tính hợp lệ.

Brogden và Taylor (1950) đưa ra một ví dụ về tình huống mà một giám đốc điều hành đã ra lệnh rằng tất cả các chàng trai văn phòng được thuê phải có một nền giáo dục trung học. Nếu, vì mục đích xác nhận kiểm tra, một nhóm nhân viên hiện tại được so sánh với một mẫu người xin việc, gần như chắc chắn rằng bất kỳ người dự đoán nào có khả năng tương quan với số lượng giáo dục sẽ chứng minh tính hợp lệ!

Vấn đề tuổi tác và nhiệm kỳ công việc là một minh họa khác cho sự thiên vị cơ hội. Khi công việc là một trong đó năng suất có xu hướng tăng lên với kinh nghiệm bổ sung và nơi có nhiều kinh nghiệm tồn tại (nghĩa là có cả nhân viên có kinh nghiệm và thiếu kinh nghiệm), không thể tránh khỏi tiêu chí (năng suất) và kinh nghiệm sẽ tương quan . Do đó, tiêu chí bị thiên vị bởi đặc tính của kinh nghiệm và bất kỳ yếu tố dự đoán nào có khả năng tương quan với kinh nghiệm đều có khả năng kết thúc với hiệu lực cao giả.

3. Xu hướng trong xếp hạng:

Một trong những tiêu chí được sử dụng thường xuyên hơn trong ngành công nghiệp, một đánh giá năng lực của các giám sát viên cũng có thể bị sai lệch. Cần chỉ ra ở đây rằng tất cả các nguồn sai lệch thông thường trong hồ sơ sản xuất cũng có khả năng thiên vị xếp hạng của năng lực cá nhân. Các giám sát viên, trong việc đưa ra xếp hạng năng lực của họ, có thể điều chỉnh cơ hội không đồng đều giữa những người được đánh giá không? Nếu họ có thể, thì xếp hạng của họ sẽ dẫn đến một tiêu chí ít sai lệch hơn so với hồ sơ sản xuất thực tế.

Hiệu ứng thiên vị thường được trích dẫn nhiều nhất trong xếp hạng là hiện tượng được gọi là hiệu ứng hào quang trên mạng. Nói tóm lại, điều này đề cập đến tình huống một người đánh giá coi một người nổi bật trên tất cả các đặc điểm chỉ vì anh ta (người được đánh giá) sở hữu một đặc điểm đặc trưng.

Ví dụ, nếu một người đã thực hiện xuất sắc trên một khía cạnh của hiệu suất công việc, một lỗi hào quang sẽ xảy ra nếu chúng ta giả định rằng người đó cũng phải giỏi về tất cả các khía cạnh khác trong công việc của mình. Lỗi Halo thường xảy ra khi người chơi được yêu cầu đánh giá những cá nhân có đặc điểm tính cách dễ chịu (Một người tốt, anh ta cũng phải có khả năng) và những đặc điểm dễ chịu (Một người con gái xinh đẹp, cô ấy cũng phải là người tài năng). Tất nhiên, các bài kiểm tra có tương quan cao với xếp hạng có độ lệch quầng có thể chỉ đơn giản là tương quan với biến hào quang chứ không phải với năng lực công việc của true true.

4. Kiến thức về Dự đoán Xu hướng:

Khi dữ liệu Tiêu chí được lấy bằng xếp hạng, lỗi nghiêm trọng nhất có thể xảy ra là người đánh giá phải có kiến ​​thức trước về điểm số dự đoán. Điều này được gọi là kiến ​​thức về thiên vị dự đoán. Nếu một người đánh giá biết điểm số mà mọi người đạt được trên biến dự đoán, thì hoàn toàn có thể anh ta có thể để các phán đoán tiêu chí của mình bị ảnh hưởng bởi kiến ​​thức này. Một lỗi như vậy có thể gây ra sự gia tăng tính chất giả hoàn toàn trong tính hợp lệ thu được.

Thật không may, loại lỗi này không chỉ nghiêm trọng nhất trong xếp hạng tiêu chí (vì theo định nghĩa, đó là một sai lệch sẽ luôn luôn tương quan với yếu tố dự đoán), mà còn là một trong những lỗi thường gặp nhất. Các ví dụ có lẽ dễ tìm thấy nhất ở trường học, nơi giáo viên đưa ra đánh giá về tài năng học tập của học sinh sau khi nhìn thấy điểm kiểm tra đầu vào của họ.

Người ta không thể quá coi trọng nhu cầu nghiêm ngặt luôn luôn giữ thông tin dự đoán tách biệt với các cá nhân đang cung cấp dữ liệu tiêu chí. Do đó, giám sát viên không bao giờ được phép truy cập vào điểm kiểm tra pin của người nộp đơn. Khi đã xảy ra sai lệch ô nhiễm như vậy, mọi nỗ lực tiếp theo để xác nhận thử nghiệm theo kinh nghiệm có thể dễ dàng dẫn đến các hệ số tương quan quá mức.