Hệ thống lựa chọn cưỡng bức: Được sử dụng để đạt được các đánh giá hiệu suất công việc

Một trong những phương pháp phổ biến nhất để đạt được sự đánh giá về hiệu suất là thông qua kỹ thuật được gọi là sự lựa chọn bắt buộc. Điều này Phương pháp đánh giá này, là sự phát triển của các vấn đề thường gặp trong phát triển các công cụ đo lường tính cách, đã nhanh chóng được điều chỉnh để sử dụng trong hiệu suất thẩm định.

Trong lịch sử, phương pháp này dường như bắt nguồn từ Horst vào đầu những năm 1940, và cũng được Wherry sử dụng cùng thời điểm đó. Phương pháp này đã được sử dụng trong nhiều tình huống và cho nhiều mục đích khác nhau. Trong một bài phê bình xuất sắc về phương pháp lựa chọn bắt buộc, Zavala (1965, trang 117) tóm tắt như sau:

Kỹ thuật FC đã được sử dụng để đánh giá các nhân viên chuyên nghiệp như sĩ quan và quân nhân Không quân (Gough, 1958; Wherry, 1959), nhân viên tuần tra và cảnh sát đường cao tốc (Peres, 1959; Stander, 1960), kỹ sư (Lepkowski, 1963), giáo viên (Leftwich, 1962; Tolle và Murray, 1958) và các bác sĩ (Newman và Howell, 1961; Newman, Howell, và Harris, 1957). Khái niệm FC cũng đã được sử dụng để phát triển các bài kiểm tra đánh giá hoặc đo lường lợi ích (Bendig, 1958; Peel, 1961), lãnh đạo và giám sát (Izard và Rosenberg, 1958; Wollack, 1959) và thái độ của nhân viên (Miller và Gekoski, 1959) .

Gordon (1951), Denton (1954) và Hatch (1962) đã đưa các kỹ thuật FC vào sử dụng trong đo lường tính cách và để có được các biện pháp thấu cảm. Cách tiếp cận FC cũng đã được sử dụng trong các vấn đề liên quan đến khả năng phát hiện tín hiệu và ngưỡng thính giác (Lukaszew- Ski và Elliott, 1962; Swets, 1959). Blackwell (1952) đã sử dụng phương pháp FC để đo lường tâm sinh lý của các chức năng cảm giác. Webster (1959) đã phát triển một thử nghiệm ưu tiên hình bằng cách sử dụng kỹ thuật FC.

Xây dựng thang đánh giá cưỡng bức:

Guilford (1954, trang 275) đã phác thảo rất rõ các bước thích hợp cần tuân thủ trong việc phát triển một công cụ lựa chọn bắt buộc rõ ràng đến mức chúng đáng được nhắc lại ở đây.

Ông đề nghị tám bước sau đây:

1. Mô tả thu được liên quan đến những người được công nhận là ở cực trị cao nhất và thấp nhất của tính liên tục hiệu suất cho nhóm cụ thể được xếp hạng.

2. Mô tả được phân tích thành các phẩm chất hành vi đơn giản, được nêu trong các câu hoặc cụm từ rất ngắn hoặc bằng tên đặc điểm, có thể được gọi là các yếu tố được sử dụng để xây dựng các mục.

3. Hai giá trị được xác định theo kinh nghiệm cho từng yếu tố: giá trị phân biệt và giá trị ưu tiên. Giá trị phân biệt đối xử là một chỉ số về tính hợp lệ và giá trị ưu tiên là một chỉ số về mức độ mà chất lượng được đánh giá bởi những người như những người sẽ sử dụng công cụ này.

4. Trong việc hình thành một mục, các yếu tố được ghép nối. Hai câu lệnh hoặc thuật ngữ có cùng giá trị ưu tiên cao được ghép nối, một trong số đó là hợp lệ và một trong số đó là không hợp lệ. Cả hai nên có tính hợp lệ đối với người dùng đối với người đánh giá, tức là người đánh giá nên nghĩ rằng cả hai đều thuận lợi cho hiệu suất vượt trội trong nhóm được xếp hạng. Hai câu lệnh hoặc thuật ngữ có giá trị ưu tiên thấp bằng nhau cũng được ghép nối, một câu có giá trị và câu còn lại thì không.

5. Hai cặp câu lệnh, một cặp có giá trị ưu tiên cao và một cặp có giá trị ưu tiên thấp, được kết hợp trong một hình tứ diện để tạo thành một mục. Lý do cho loại kết hợp này là vì mặc dù người đánh giá trung bình sẽ không phản đối việc chọn một trong hai mô tả có lợi cho một người mà anh ta biết, đôi khi anh ta chùn bước khi chọn một trong hai mô tả không thuận lợi. Đôi khi một mô tả thứ năm, trung tính, được thêm vào để tạo thành một hình ngũ giác, nhưng điều này ít phổ biến hơn.

Một ví dụ về tetrad như sau:

Cẩu thả

Đầu óc nghiêm túc

Năng lượng

Hợm hĩnh

Những đặc điểm của người nghiêm túc và người có năng lực, có lẽ đã được tìm thấy có giá trị ưu tiên ngang nhau vì chúng được áp dụng thường xuyên như những đặc điểm thuận lợi trong việc mô tả loại nhân sự mà quy mô được phát triển. Tuy nhiên, đặc điểm của nghiêm trọng là nghiêm trọng, vì nó được áp dụng là hợp lệ, vì nó được áp dụng cho nhóm tiêu chí cao thường xuyên hơn so với nhóm tiêu chí thấp. Những đặc điểm của người Bỉ bất cẩn và những người hợm hĩnh, được tìm thấy không kém phần phổ biến, nhưng anh ấy lại bất cẩn, phân biệt đối xử với những người có tiêu chí cao.

6. Hướng dẫn cho người đánh giá được chuẩn bị. Người đánh giá phải phản ứng với mỗi tetrad như một vật phẩm, cho biết cái nào trong bốn cái phù hợp nhất với cái đó và cái nào trong bốn cái là phù hợp nhất.

7. Một hình thức thử nghiệm của công cụ được thử trong một mẫu có tiêu chí bên ngoài, với mục đích xác nhận các phản hồi khi các mô tả được thiết lập trong mẫu này. Phản ứng phân biệt được xác định, và, nếu muốn, trọng số khác biệt được chỉ định.

8. Khóa ghi điểm được phát minh, dựa trên các kết quả trong Bước 7. Thông thường, một đặc điểm thuận lợi hợp lệ được đánh dấu là mô tả nhất của người đánh giá nhận được trọng số dương, cũng là một đặc điểm bất lợi, hợp lệ được đánh giá là ít mô tả nhất.

Cơ sở lý luận:

Tất nhiên, từ mô tả ở trên, logic của cái tên cưỡng bức, sự lựa chọn, ngay lập tức rõ ràng, trong đó người đánh giá liên tục bị buộc phải lựa chọn trong số các lựa chọn thay thế thuận lợi (hoặc không thuận lợi). Điều này được cho là ngăn người đánh giá cố tình chỉ kiểm tra những đặc điểm thuận lợi nhất khi đánh giá những người lao động mà anh ta có thể muốn thể hiện một mức độ thiên vị nào đó.

Nếu anh ta chọn các câu trả lời của mình một cách nghiêm túc trên cơ sở mức độ thuận lợi của chúng, thì về lý thuyết anh ta sẽ không có lý do nào để chọn một đặc điểm này trong bất kỳ cặp nào vì chúng đã được đánh đồng trên cơ sở này. Do đó, sự lựa chọn của anh ta sẽ là một sự ngẫu nhiên và, tình cờ, anh ta cuối cùng sẽ chọn được đặc điểm phân biệt đối xử một nửa thời gian.

Vì mỗi tetrad có một cặp thuận lợi (có phân biệt đối xử dương) và một cặp không thuận lợi (có phân biệt đối xử phủ định trong đó), nên một lựa chọn ngẫu nhiên trong mỗi cặp sẽ có nghĩa là người đánh giá sẽ có xu hướng chọn một người phân biệt đối xử thuận lợi khoảng một nửa thời gian và một người phân biệt đối xử bất lợi khoảng một nửa thời gian.

Do đó, điểm ngẫu nhiên hoặc cơ hội sẽ bằng 0 (giả sử chúng tôi cho +1 cho mỗi người phân biệt đối xử tích cực và -1 cho mỗi người phân biệt đối xử tiêu cực được kiểm tra). Trong trường hợp người đánh giá thực sự cố gắng đánh giá chính xác về người lao động, anh ta sẽ có xu hướng chọn những đặc điểm phân biệt đối xử trong cặp tích cực và không chọn những đặc điểm phân biệt đối xử trong cặp tiêu cực (giả sử anh ta đánh giá một công nhân tốt) .

Nếu anh ta đánh giá một công nhân nghèo, mô hình của anh ta sẽ bị đảo ngược ở chỗ anh ta sẽ có xu hướng chọn đặc điểm phân biệt đối xử thường xuyên hơn cơ hội giữa các cặp tiêu cực và chọn đặc điểm không phân biệt đối xử thường xuyên hơn so với cơ hội trong cặp tích cực. Do đó, những người lao động tốt nên kết thúc với điểm số tích cực cao và những người lao động nghèo có điểm số âm cao.

Chỉ số cưỡng bức lựa chọn:

Chìa khóa cho thang đo lựa chọn bắt buộc thành công nằm ở một số loại chỉ số thu được cho từng đặc điểm trước khi xây dựng phiên bản cuối cùng của thang đánh giá.

Các chỉ số khác nhau như sau:

A. Chỉ số phân biệt đối xử

B. Chỉ số tương đương

1. Chỉ số ưu tiên

2. Chỉ số khả thi

3. Chỉ số quan trọng

4. Chỉ số mong muốn

Chỉ số phân biệt đối xử:

Chỉ số phân biệt đối xử chỉ đơn giản là thước đo mức độ mà một đặc điểm được tìm thấy để phân biệt giữa người lao động tốt và người nghèo. Tất cả các chỉ số thường được sử dụng trong phân tích vật phẩm đều có khả năng thích hợp để sử dụng như các biện pháp phân biệt tội phạm vì người ta chỉ quan tâm đến việc mỗi tính trạng có giá trị như thế nào trong việc dự đoán mức độ tốt của một nhân viên. Để thảo luận về các phương pháp phân tích vật phẩm, hãy tham khảo bất kỳ văn bản cơ bản nào trong thử nghiệm tâm lý.

Chỉ số tương đương:

Cơ sở lý luận của hệ thống lựa chọn bắt buộc đòi hỏi các đặc điểm phải được ghép nối theo cách sao cho chúng cũng hấp dẫn không kém đối với người đánh giá. Nói cách khác, một đặc điểm không được sở hữu nhiều đặc điểm nào dẫn đến việc nó được chọn qua đặc điểm khác bởi một người đánh giá có mong muốn thiên vị các phản ứng của anh ta. Việc lựa chọn các tính trạng trong bất kỳ cặp nào chỉ dựa trên sức mạnh phân biệt đối xử của chúng chứ không phải dựa trên bất kỳ định kiến ​​dân số nào về bản thân chúng.

Chúng tôi ngay lập tức dẫn đến vấn đề cố gắng xác định loại đặc điểm tính trạng nào có thể ảnh hưởng đến phản ứng của người đánh giá muốn thiên vị câu trả lời của anh ta.

Bốn đặc điểm như vậy có thể được coi là có khả năng quan trọng:

1. Ưu tiên cho một đặc điểm:

Điều này tốt nhất có thể được định nghĩa là xu hướng chung cho những người đo lường sử dụng đặc điểm này với tất cả mọi người, bất kể họ là công nhân tốt hay nghèo. Sisson (1948) đã định nghĩa đặc điểm này là mức độ mà mọi người, nói chung, có xu hướng sử dụng nó trong việc mô tả người khác. Nói theo nghĩa, sở thích đặc điểm là thước đo mức độ phổ biến của một đặc điểm trong từ vựng mô tả của người đo. Việc cân bằng các cặp tính trạng theo sở thích chung của chúng chắc chắn sẽ là một bước hợp lý nếu người ta cố gắng loại bỏ các đặc điểm vật phẩm bên ngoài có khả năng ảnh hưởng đến sự lựa chọn của người đánh giá.

2. Tính dễ chịu của một đặc điểm:

Các đặc điểm rõ ràng khác nhau về sự phù hợp rõ ràng của chúng khi được sử dụng như một mô tả của mọi người. Như đã đề cập, định dạng bắt buộc thường kết hợp hai đặc điểm thuận lợi với hai đặc điểm không thuận lợi. Một điều cũng quan trọng là hai đặc điểm thuận lợi có vẻ thuận lợi như nhau và hai đặc điểm bất lợi không thuận lợi như nhau, hoặc người đánh giá có thể bị cám dỗ để chọn điều thuận lợi nhất trong mỗi cặp nhằm cố gắng làm cho tỷ lệ này trông tốt nhất có thể.

Tính dễ thương có lẽ là chỉ số được sử dụng phổ biến nhất để đánh đồng các cặp lựa chọn bắt buộc. Đây là một chỉ số tương đối dễ dàng có được bằng cách có một số thẩm phán đánh giá từng đặc điểm về mức độ phù hợp của nó với người mà nó sẽ được sử dụng để mô tả và sử dụng giá trị thang đo trung bình làm chỉ số khả thi.

3. Chỉ số quan trọng:

Chỉ số này đã được Zavala (1965) đề cập đến và là thước đo cho tầm quan trọng của Tuyên bố như là một phẩm chất cho vị trí trong câu hỏi (Zavala, 1965, trang 118). Chỉ số này nhận ra rằng một người có khuynh hướng thiên vị có xu hướng sử dụng một tình huống cụ thể như một khung tham chiếu hơn là một tham chiếu chung hơn. Đó là, một người đánh giá muốn làm cho một tỷ lệ có vẻ tốt có thể thích hợp hơn để chọn đặc điểm cụ thể mà anh ta cảm thấy là quan trọng nhất đối với công việc đang được đề cập hơn là chọn đặc điểm đó là mô tả chung thuận lợi nhất.

Do đó, sự lựa chọn của người đánh giá về đặc điểm nào là tốt nhất để sử dụng là, do đó, có khả năng là công việc cụ thể. Để đánh đồng thành công các đặc điểm cho tầm quan trọng của chúng, cần phải đạt được các giá trị thang đo mức độ quan trọng (thường theo cùng một kiểu mà người ta đạt được các giá trị thang đo khả thi) cho từng tình huống xếp hạng khác nhau, đôi khi, có thể khó thực hiện hoàn thành

4. Chỉ số mong muốn:

Khái niệm mong muốn xã hội đã được thảo luận như là một ảnh hưởng trong việc xác định phản ứng của các cá nhân đối với hàng tồn kho cá tính. Ảnh hưởng của đặc điểm đặc điểm này có lẽ cũng quan trọng không kém trong các tình huống đánh giá. Sự khác biệt giữa tính dễ ưa và tính mong muốn xã hội không phải lúc nào cũng dễ dàng thực hiện.

Chắc chắn, những đặc điểm được đánh giá là thuận lợi cũng có thể được coi là mong muốn xã hội. Sự khác biệt có thể được minh họa bằng cách xem xét tính linh hoạt của một đặc điểm như trí thông minh có thể khá cao, trong khi tính mong muốn xã hội của nó có thể có xu hướng thấp hơn một chút do phản ứng văn hóa chung chống lại Eg egghead, Muff v.v.

Khung tham khảo:

Không chỉ có nhiều chỉ số khác nhau có thể được sử dụng để đánh đồng các cặp tính trạng theo định dạng lựa chọn bắt buộc, mà còn có một số bộ hướng dẫn hoặc khung tham chiếu có thể được đưa ra cho các thẩm phán khi đạt được các giá trị tỷ lệ cho mục đích đánh đồng . Kết quả là, các hướng dẫn khác nhau có khả năng khá quan trọng.

Ví dụ, nếu một người quan tâm đến việc có được các chỉ số quan trọng, anh ta có thể đưa ra cho các thẩm phán một trong các hướng dẫn sau:

(I) Cung cấp cho mỗi đặc điểm một điểm dựa trên mức độ bạn cảm thấy đặc điểm đó quan trọng như thế nào đối với hiệu suất công việc thành công, hoặc

(2) Cung cấp cho mỗi đặc điểm một điểm dựa trên mức độ quan trọng mà bạn nghĩ rằng người đánh giá cuối cùng sử dụng thang đo sẽ cảm thấy đặc điểm đó là để thực hiện công việc thành công.

Trong trường hợp đầu tiên, người ta có được các giá trị tỷ lệ dựa trên khung tham chiếu riêng của các thẩm phán. Trong trường hợp thứ hai, các thẩm phán được yêu cầu đặt mình vào đôi giày của người Cameron, người cuối cùng sẽ được yêu cầu sử dụng công cụ đánh giá hiệu suất và đưa ra phán xét như thể họ là người đó. Các giá trị thang đo quan trọng thu được theo hai bộ điều kiện này có thể khác nhau.

Chiến lược người đàn ông lý tưởng của người Scotland:

Một vấn đề liên quan đến khung câu hỏi tham khảo là chiến lược người chơi được gọi là chiến lược người đàn ông lý tưởng của người Hồi giáo. Một cách rất điển hình để phản hồi xu hướng đối với thang đánh giá lựa chọn bắt buộc là người đánh giá chọn công nhân tốt nhất của mình và thay thế tinh thần của anh ta cho những người mà anh ta thực sự đánh giá và anh ta muốn đạt điểm cao.

Nếu anh ta không có công nhân đủ tốt để được sử dụng làm hướng dẫn trong xếp hạng, người đánh giá có thể vẽ một hình ảnh tinh thần của một công nhân lý tưởng và sử dụng điều này làm khung tham chiếu của anh ta trong việc xếp hạng. Kiểu thiên vị có chủ ý này cực kỳ khó đối phó vì theo một nghĩa nào đó, người đánh giá không chú ý đến các loại đặc điểm đặc trưng mà thang đo lựa chọn bắt buộc có xu hướng bảo vệ.

Đó là, người đánh giá có xu hướng thực hiện một công việc xếp hạng trung thực, ngoại trừ người đàn ông có thể đánh giá khi anh ta hoàn thành thang điểm là một người hoàn toàn khác so với người mà anh ta được xếp hạng. Khi một người đánh giá đủ thông minh để áp dụng chiến lược xếp hạng này như một phương pháp nâng điểm hiệu suất của bạn bè, v.v., có rất ít việc có thể làm để tránh sự thiên vị kết quả, ngay cả với lựa chọn bắt buộc.

Nghiên cứu về phương pháp cưỡng bức lựa chọn:

Phương pháp lựa chọn bắt buộc đã là chủ đề của rất nhiều nghiên cứu kể từ khi được giới thiệu vào những năm 1940. Như với nhiều phương pháp mới hơn, hóa ra nó có phần ít chữa khỏi hơn nhiều so với nhiều người đã hy vọng, nhưng nó vẫn có vẻ là một trong những cách hiệu quả nhất để giảm sự thiên vị của người chơi công nghiệp. Tổng quan ngắn gọn về một số phát hiện liên quan đến các khía cạnh khác nhau của phương pháp lựa chọn bắt buộc sẽ đưa ra ý tưởng về tình trạng chung của phương pháp.

Định dạng mục bắt buộc:

Trong những gì đã được coi là một trong những nghiên cứu kinh điển về phương pháp lựa chọn bắt buộc, Highland và Berkshire (1951) đã so sánh sáu loại định dạng vật phẩm khác nhau về (1) độ tin cậy thậm chí lẻ của chúng, (2) độ nhạy cảm của chúng đối với thiên vị khi những người xếp loại được hướng dẫn để đảm bảo điểm cao, (3) hiệu lực của họ đối với một tiêu chí bao gồm các thứ tự xếp hạng của người hướng dẫn của sinh viên, và (4) mức độ phổ biến của họ được xác định bởi những người xếp loại.

Sáu loại định dạng mục khác nhau được sử dụng là:

1. Hai tuyên bố cho mỗi mục, cả hai đều thuận lợi hoặc cả hai đều không thuận lợi. Rater được yêu cầu chọn mô tả nhất về cặp câu lệnh.

2. Ba tuyên bố cho mỗi mục, tất cả đều thuận lợi hoặc tất cả đều bất lợi. Rater được yêu cầu chọn câu lệnh mô tả nhiều nhất và ít nhất.

3. Bốn tuyên bố cho mỗi mục, tất cả đều thuận lợi. Rater được yêu cầu chọn hai câu mô tả nhất.

4. Bốn tuyên bố cho mỗi mục, tất cả đều thuận lợi. Rater được yêu cầu chọn mô tả nhiều nhất và ít mô tả nhất.

5. Bốn tuyên bố cho mỗi mục, hai thuận lợi và hai bất lợi. Rater được yêu cầu chọn cả hai câu mô tả nhiều nhất và ít mô tả nhất.

6. Năm tuyên bố cho mỗi mục, hai thuận lợi, hai bất lợi và một trung tính. Rater được yêu cầu chọn cả hai câu mô tả nhiều nhất và ít mô tả nhất.

Kết quả nghiên cứu đã đưa Highland và Berkshire đi đến kết luận sau:

Độ tin cậy:

Tất cả các định dạng dẫn đến hệ số độ tin cậy cao, mặc dù các định dạng 5 và 6 có thể được coi là thể hiện tốt nhất trên tiêu chí này.

Hiệu lực:

Định dạng 4 thường được coi là hợp lệ nhất, với định dạng 3 chạy mạnh thứ hai. Điều này chỉ ra rằng việc sử dụng chỉ các lựa chọn thay thế thuận lợi dường như ảnh hưởng đến hiệu lực.

Ưu tiên người chơi:

Sở thích của những người xếp loại cho sáu định dạng như (từ hầu hết đến ít ưu tiên nhất) 3, 1, 6, 5, 4 và 2.

Mẫn cảm với sai lệch:

Các hình thức khác nhau đáng kể về mức độ mà chúng chống lại các nỗ lực cố ý ở xu hướng. Thứ tự của điện trở phân cực (từ hầu hết đến ít nhất) là 3, 2, 1, 4, 5 và 6.

Highland và Berkshire cho rằng định dạng 3 là tốt nhất trong số sáu nghiên cứu khi bốn tiêu chí được liệt kê ở trên được xem xét.

Hiệu lực so sánh của sự lựa chọn cưỡng bức:

Nghiên cứu của Highland và Berkshire đã xem xét các định dạng khác nhau của sự lựa chọn bắt buộc giữa họ. Một câu hỏi quan trọng không kém liên quan đến tính hợp lệ và độ tin cậy của phương pháp khi so sánh với các thủ tục thẩm định hiệu suất khác.

Khi xem xét các nghiên cứu có mục đích kiểm tra lợi thế của sự lựa chọn bắt buộc về tính hợp lệ, Zavala (1965) đưa ra các điểm sau:

1. Quá nhiều nghiên cứu về tính hợp lệ của lựa chọn bắt buộc đã có xu hướng sử dụng các hình thức xếp hạng khác làm tiêu chí. Đây có lẽ là một biện pháp đáng tin cậy hơn là một biện pháp hợp lệ.

2. Hầu hết các nghiên cứu so sánh dường như cho thấy sự vượt trội hơn một chút đối với lựa chọn bắt buộc so với các phương pháp xếp hạng thông thường.

3. Thang đánh giá càng dài, phương pháp lựa chọn bắt buộc càng ưu việt.

4. Tính hợp lệ của thang đo lựa chọn bắt buộc cũng có thể là một hàm của loại chỉ số cân bằng được sử dụng trong việc xây dựng các mục.

Mẫn cảm với Bias:

Mặc dù câu hỏi về tính hợp lệ có lẽ là câu hỏi quan trọng nhất có thể được sử dụng để đánh giá phương pháp lựa chọn bắt buộc, câu hỏi về mức độ mà phương pháp có thể bị sai lệch hoặc biến dạng có chủ ý cũng rất quan trọng. Thật vậy, phương pháp được thiết kế đặc biệt để giảm độ lệch phản hồi, vì độ lệch phản hồi có xu hướng giảm hiệu lực.

Bằng chứng về hiệu quả của thủ tục lựa chọn bắt buộc như là một công cụ giảm thiểu thiên vị là hơi không rõ ràng. Dường như có chút nghi ngờ rằng việc giả mạo vẫn có thể xảy ra dưới một định dạng lựa chọn bắt buộc, như được chỉ ra bởi Sisson (1948), Howe (1960), và Howe và Silverstein (1960).

Tuy nhiên, dường như không có bằng chứng đáng kể nào cho thấy mức độ dễ bị giảm bởi các mục lựa chọn bắt buộc. Karr (1959), Taylor và Wherry (1951), và Izard và Rosenberg (1958) đưa ra ba ví dụ về nghiên cứu chỉ ra khả năng chống giả mạo bằng cách lựa chọn bắt buộc vượt quá các loại thang đo khác.

Waters (1965) gần đây đã gợi ý rằng một trong những khó khăn lớn với nghiên cứu về tính linh hoạt của sự lựa chọn bắt buộc là việc thiết lập giả mạo để giả mạo thử nghiệm đã được thiết lập thường khác với các chỉ số đặt trong đó các chỉ số đánh đồng thu được ban đầu. Do đó, các chỉ số không bao giờ thực sự hoàn toàn phù hợp với tình hình thẩm định thực tế. Ông gợi ý rằng có ba bộ phản ứng khác nhau theo đó các chỉ số tương đương có thể thu được (bất kể chỉ số nào đang được sử dụng).

1. Đánh giá trung thực:

Trả lời khi người được hỏi thực sự tin rằng tuyên bố áp dụng cho người được đánh giá

2. Khả năng chấp nhận xã hội:

Trả lời để có vẻ chấp nhận được cho bản thân và cho người khác nói chung

3. Xuất hiện thành công:

Trả lời để làm cho người đó dường như sở hữu những phẩm chất cần thiết hoặc mong muốn liên quan đến một công việc hoặc hoạt động cụ thể

Waters cũng đề xuất thêm rằng các nghiên cứu khả thi có thể được phân loại thành ba lớp chung, tùy thuộc vào cách thiết lập phản ứng và thành phần nhóm được thay đổi.

Để trích dẫn từ Waters (1965, trang 189), chúng tôi có:

1. Nghiên cứu khả thi:

Các bộ và nhóm ít nhất giống nhau trong các tình huống trong đó các chỉ số hấp dẫn thu được và thang đo được quản lý.

2. Nghiên cứu khái quát hóa:

Cả hai tập hợp hoặc nhóm, nhưng không phải cả hai, thay đổi từ tình huống trong đó các chỉ số hấp dẫn thu được cho tình huống trong đó thang đo được quản lý.

3. Nghiên cứu mở rộng:

Cả bộ và nhóm thay đổi từ tình huống trong đó các chỉ số hấp dẫn thu được đến tình huống trong đó thang đo được quản lý.

Các nghiên cứu về tính khả thi không bị nhầm lẫn với các loại nghiên cứu sau này. Chúng là loại duy nhất trực tiếp cung cấp một bài kiểm tra về mức độ đầy đủ của các chỉ số cân bằng trong công việc của chúng. Hai cái sau chỉ đơn giản là đánh giá tổng quát của chỉ số cho các tình huống khác. Thật không may, theo Waters, hầu hết các nghiên cứu khả thi cho đến nay đều là nghiên cứu tổng quát hoặc mở rộng; có một nhu cầu mạnh mẽ đối với một số nghiên cứu trực tiếp tấn công câu hỏi khả thi.

Nghiên cứu của Norman

Một trong những nghiên cứu thú vị hơn về vấn đề giả mạo và phát hiện bắt buộc lựa chọn là nghiên cứu của Norman (1963). Ông quan tâm đến sự năng động của các chỉ số phổ biến vật phẩm và phân biệt đối xử trong các điều kiện bình thường và trong các điều kiện giả mạo. Ngoài ra, anh ta quan tâm đến việc xác định mức độ giả mạo, nếu nó xảy ra, có thể được kiểm soát và / hoặc phát hiện.

Những phát hiện chính của nghiên cứu liên quan đến hành vi của các chỉ số phổ biến và phân biệt đối xử được đưa ra dưới đây:

1. Chỉ số phân biệt đối xử trong điều kiện bình thường và giả mạo có mối tương quan xấp xỉ

2. Các chỉ số phổ biến trong điều kiện bình thường và giả có tương quan thấp (0, 24 và 0, 23).

3. Độ tin cậy của các chỉ số phân biệt đối xử trong điều kiện giả là bằng không.

4. Độ tin cậy của các chỉ số phân biệt đối xử trong điều kiện bình thường cao vừa phải.

5. Độ tin cậy của các chỉ số phổ biến gần như hoàn hảo trong cả điều kiện bình thường và giả (0, 97 và 0, 98).

Kết quả cuối cùng trong số này (tìm số 5) ngụ ý rằng sự khác biệt về mức độ phổ biến giữa điều kiện bình thường và giả cũng phải rất đáng tin cậy (phát hiện số 2, có sự khác biệt đáng kể, có thể được sửa đổi để ngụ ý rằng sự khác biệt đó là đáng tin cậy và thích hợp). Tuy nhiên, điều này không được đánh giá trực tiếp trong nghiên cứu.

Norman sau đó đề xuất một quy trình phát triển một công cụ lựa chọn bắt buộc sẽ có cùng ý nghĩa trong điều kiện giả vì nó sẽ ở điều kiện bình thường, có phương sai nhỏ hơn trong điều kiện giả và có thang đo phát hiện rất nhạy để xác định kẻ giả mạo.

Để thực hiện điều này, ông phác thảo các bước sau:

1. Chọn các mục có chỉ số phân biệt đối xử cao trong điều kiện bình thường (chọn nhiều hơn cuối cùng sẽ được yêu cầu).

2. Xếp hạng thứ tự các mục đã chọn theo kích thước của sự khác biệt về mức độ phổ biến của chúng theo các điều kiện thông thường và giả mạo (xem số 2 trong danh sách trên).

3. Chọn các mục từ cả hai phía của số không (bao nhiêu tùy ý), đảm bảo rằng tổng đại số của sự khác biệt phổ biến bằng 0 khi hoàn thành.

Bước 3 sẽ đảm bảo (vì chúng tôi biết sự khác biệt về mức độ phổ biến là đáng tin cậy) rằng điểm kiểm tra trung bình của những người trong điều kiện bình thường sẽ bằng với điều kiện giả. Điều này xảy ra do giá trị trung bình của phân phối điểm kiểm tra bằng tổng số phổ biến của mặt hàng. Do đó, điểm trung bình trong điều kiện bình thường và giả được đánh đồng. Các thử nghiệm được xây dựng theo quy trình này cũng sẽ có xu hướng thay đổi các phân phối điểm kiểm tra của chúng khi được thực hiện theo một tập hợp thành giả. Đây là một kết quả có xu hướng làm giảm khả năng những người có khả năng giả mạo sẽ nhận được điểm số đủ cao để được chấp nhận.

Để minh họa, hãy xem xét sơ đồ hiển thị bên dưới (Hình 7.4) trong đó chúng tôi có phân phối điểm kiểm tra được thực hiện trong điều kiện bình thường. (7.4a), phân phối điểm kiểm tra được lấy theo tập hợp thành giả (7.4b) và phân phối tổng hợp được tạo thành từ người giả mạo và người không giả mạo (7.4c).

Việc xem xét Hình 7.4c cung cấp một dấu hiệu về tác dụng kiểm soát mà phương pháp này tác động lên những kẻ giả mạo có chủ ý. Trong cài đặt đánh giá hiệu suất thông thường, chúng tôi quan tâm đến việc thưởng cho những người đạt điểm cao trong biểu mẫu lựa chọn bắt buộc. Vì phương sai của phân phối giả đã giảm, người ta có thể chọn những người ghi điểm cao nhất (những người ở bên phải của đường giới hạn trong 7.4c) mà không có nguy cơ nhận quá nhiều kẻ giả mạo trong nhóm được chọn hoặc được thưởng.

Hình 7.5 cho thấy năm minh chứng thực nghiệm khác nhau về hạn chế này trong phương sai thu được trong nghiên cứu của Norman.

Một đặc điểm cuối cùng của phương pháp Norman là rất dễ dàng để xây dựng thang đo phát hiện ra phạm vi phát hiện ra để xác định ai đang giả mạo và ai không.

Một cách đơn giản chỉ bao gồm trên quy mô một số mặt hàng đáp ứng các yêu cầu sau:

1. Chúng phải có giá trị gần bằng không đối với các biến tiêu chí.

2. Họ phải có sự thay đổi lớn về mức độ phổ biến từ điều kiện bình thường sang điều kiện giả.

3. Mức độ phổ biến của chúng trong điều kiện bình thường phải rất cao hoặc rất thấp.

Sau đó, người ta sẽ xây dựng một khóa đánh giá phản hồi không thường xuyên trong điều kiện bình thường cho từng mục (nghĩa là phản hồi thường xuyên trong điều kiện giả), vì một phản hồi có xu hướng giả mạo và phản hồi khác cho thấy phản hồi bình thường.

Một cách khác để mô tả các mục phát hiện này là sự phổ biến của chúng tương quan với xu hướng giả mạo. Hình 7.6 cho thấy sự phân phối điểm số trên thang đo của máy dò được Norman thu được trong điều kiện bình thường và trong điều kiện giả. Lưu ý sự thay đổi lớn của điểm số khi mọi người được yêu cầu giả mạo. Một điểm giới hạn khoảng 20 sẽ có xu hướng xác định hầu hết những người giả mạo mà không cáo buộc sai lệch rất nhiều quy tắc.