Xác định tiện ích của công cụ lựa chọn trong các ngành công nghiệp
Tiện ích của thiết bị dự đoán là mức độ sử dụng của nó giúp cải thiện chất lượng của những người được chọn ngoài những gì sẽ xảy ra nếu thiết bị đó không được sử dụng. Hiệu lực và độ tin cậy, cả hai đều đóng một vai trò quan trọng trong việc xác định tiện ích của bất kỳ công cụ lựa chọn nào. Ngoài ra, tuy nhiên, một số yếu tố khác cũng không kém phần quan trọng trong việc xác định tiện ích trong mọi tình huống liên quan đến lựa chọn nhóm.
Các biến bổ sung này là:
(1) Độ tin cậy của tiêu chí,
(2) Tiêu chí phù hợp,
(3) Tỷ lệ lựa chọn và
(4) Phần trăm nhân viên hiện tại coi là thành công.
Người đọc nên lưu ý rằng dự đoán nhóm là quá trình lựa chọn một cách có hệ thống một mẫu phụ của những người có khả năng thành công, trung bình, so với toàn bộ nhóm hoặc bất kỳ nhóm phụ nào được chọn ngẫu nhiên từ toàn bộ. Điều này khác với quá trình dự đoán cá nhân nơi người ta quan tâm đến việc dự đoán khả năng thành công của một người cụ thể, thay vì một nhóm người.
Tất nhiên, có những tình huống lựa chọn liên quan đến cả hai khía cạnh nhóm và cá nhân của lựa chọn. Một ví dụ là chương trình tuyển chọn được Hải quân Hoa Kỳ sử dụng trong việc lựa chọn các học viên bay. Hải quân sử dụng các kỹ thuật dự đoán nhóm trước và trong một số giai đoạn huấn luyện bay khác nhau.
Ngoài ra, cũng cần dự đoán được đưa ra cho một học viên cụ thể và khả năng thành công của cá nhân anh ta trong chương trình. Nhu cầu về các loại dự đoán sau này xảy ra bất cứ khi nào hồ sơ của một học viên trong quá trình đào tạo đủ kém để đưa anh ta đến trước hội đồng xét duyệt. Đối với chương trình Hải quân này, các dự đoán cơ bản tương tự được sử dụng cho cả nhóm và các dự đoán riêng lẻ.
Dự đoán hiệu lực:
Chỉ số thống kê chính ảnh hưởng đến tiện ích của bất kỳ công cụ dự đoán nào là tính hợp lệ của nó. Mặc dù sẽ chứng minh rằng các tình huống có hiệu lực thấp và thậm chí bằng 0 vẫn có thể dẫn đến lựa chọn khá thành công trong các điều kiện đặc biệt, hệ số hiệu lực vẫn là biến trung tâm trong lựa chọn. Để minh họa, hãy xem xét các sơ đồ được hiển thị trong Hình 2.10 trong đó hai mối quan hệ tiêu chí dự đoán khác nhau được hiển thị, một mối quan hệ có giá trị 0, 00 và cái còn lại có giá trị 0, 70. Trong cả hai trường hợp, điểm số bị cắt trên bộ dự đoán đã được thiết lập cho phép chúng tôi chiếm 50% số người tham gia bài kiểm tra hàng đầu.
Dự đoán nào sẽ dẫn đến sự gia tăng lớn nhất về điểm tiêu chí trung bình của nhóm được chọn so với những gì đã đạt được bằng các phương pháp trước đó (nghĩa là lựa chọn ngẫu nhiên)? Trước tiên, nhìn vào yếu tố dự đoán A về cách mọi người được phân phối theo chiều tiêu chí, chúng tôi thấy rằng điểm số tiêu chí trung bình của nhóm được chấp nhận của nhóm James là giống hệt như nhóm bị từ chối. Đó là, những người được chấp nhận bằng cách lấy một nửa số điểm cao nhất trong bài kiểm tra A không có xu hướng có điểm số tiêu chí cao hơn so với 50% số điểm thấp nhất trong bài kiểm tra A, như trong Hình 2.11.
Tuy nhiên, khi chúng ta nhìn vào dự đoán B, chúng ta nhận được một bức tranh hoàn toàn khác. Chúng ta có thể thấy ngay rằng những người ở trên mức giới hạn dường như làm tốt hơn về tiêu chí so với những người dưới ngưỡng. Đó là, những người ở trên ngưỡng bị cắt có điểm tiêu chí trung bình cao hơn so với những người dưới đây. Điều này được thể hiện trong Hình 2.12, một lần nữa cho thấy ba phân phối của các giá trị tiêu chí.
Do đó, chúng tôi dường như có nguyên tắc chung đầu tiên của chúng tôi trong tiện ích thử nghiệm: với bất kỳ sự cắt đứt nào được xác định một cách tùy tiện trong một thử nghiệm, hiệu lực càng cao, sự gia tăng điểm tiêu chí trung bình của nhóm được chọn so với quan sát của toàn bộ nhóm.
Nói cách khác, sự khác biệt:
( Nhóm X được chọn ) - ( Tổng nhóm X)
sẽ tăng tỷ lệ thuận với tính hợp lệ của bài kiểm tra. Thật vậy, nó có thể được hiển thị theo đại số rằng điều này là như vậy (sau này chúng ta sẽ thấy một số ngoại lệ nhất định cho nguyên tắc đầu tiên này). Gần đây Naylor và Shine (1965) đã xuất bản một tập hợp các bảng có thể tính toán dễ dàng sự gia tăng điểm tiêu chí trung bình sẽ đạt được với bất kỳ thử nghiệm nào cho thấy có thể xác định được tính hợp lệ của điểm kiểm tra và điểm kiểm tra. Bảng này được đưa ra trong Phụ lục cùng với các giải thích và ví dụ về việc sử dụng nó.
Tỷ lệ lựa chọn và tỷ lệ phần trăm nhân viên thành công:
Hai biến khác đóng vai trò quan trọng trong việc xác định tiện ích của người dự đoán là tỷ lệ lựa chọn và tỷ lệ phần trăm nhân viên hiện tại được coi là thành công. Người đọc sẽ nhớ lại rằng tiện ích của một công cụ dự đoán được định nghĩa là sự cải thiện chất lượng của các thuê được sử dụng một thiết bị dự đoán khi so sánh với các phương pháp lựa chọn hiện tại.
Chất lượng thường được xác định theo (1) điểm tiêu chí trung bình của nhóm hoặc (2) về tỷ lệ người trong nhóm có điểm tiêu chí trên một số giá trị được coi là tối thiểu để một là một nhân viên thành công. Đối với bất kỳ hệ số hiệu lực nào được đưa ra giữa tiêu chí và yếu tố dự đoán, việc thao túng tỷ lệ lựa chọn và / hoặc thay đổi tỷ lệ phần trăm nhân viên hiện tại được coi là thành công sẽ dẫn đến thay đổi rõ rệt về chất lượng của nhân viên được tuyển dụng (được chọn).
Tỷ lệ lựa chọn:
Mô tả đơn giản, tỷ lệ lựa chọn (SR) có thể được biểu thị bằng:
n / N = SR
Trong đó n = số lần mở công việc
N = số lượng người xin việc có sẵn cho vị trí
Khi SR bằng hoặc lớn hơn 1, 00, việc sử dụng bất kỳ thiết bị lựa chọn nào có rất ít ý nghĩa. Với nhiều cơ hội việc làm hơn so với người xin việc, ứng viên đang ở trong thị trường của người bán, nơi công ty có thể cần mua dịch vụ của anh ta bất kể chất lượng của anh ta. Tuy nhiên, nếu SR nhỏ hơn 1, 00, thì có nhiều người xin việc hơn vị trí và người sử dụng lao động ở vị trí được chọn lọc về mặt người mà anh ta thuê.
Cách mà SR có thể ảnh hưởng đến quá trình lựa chọn có thể được thể hiện tốt nhất bằng cách tham khảo Hình 2.13. Trong hình 2.13a, biểu đồ phân tán điểm số được hiển thị gần bằng hình dạng có thể mong đợi với một mẫu người lớn và mối tương quan giữa yếu tố dự đoán và tiêu chí 0, 70 (tương quan càng cao, càng gần biểu đồ phân tán sẽ tiếp cận một đường thẳng, tương quan càng thấp, càng gần âm mưu phân tán sẽ tiếp cận một vòng tròn). Tỷ lệ hình bầu dục được tô bóng đại diện cho tỷ lệ ứng viên thực sự được tuyển dụng, viz., SR. Trong hình 2.13a, SR là 100 được trình bày; có một cơ hội việc làm cho mọi ứng viên nên tất cả sẽ được tuyển dụng.
Trong phần b của Hình 2.13, chúng ta thấy điều gì xảy ra với chất lượng trung bình của những người được thuê khi SR trở thành 0, 80. Vì có những công việc chỉ dành cho 80 phần trăm ứng viên, nên nhà tuyển dụng sẽ thuê một cách hợp lý 80 phần trăm có điểm dự đoán cao nhất, vì người dự đoán có liên quan cao đến hiệu suất tiêu chí tiếp theo.
80 phần trăm này được đại diện bởi khu vực bóng mờ của hình bầu dục rơi ở bên phải của điểm cắt trên dự đoán. Vì những người bị loại thường có điểm số tiêu chí thấp, nên dễ dàng nhận thấy điểm tiêu chí trung bình cho những người được thuê với SR là 0, 80 cao hơn so với nếu một nhóm ứng viên ngẫu nhiên được đặt vào các công việc như trong Hình 2.13a. Sự gia tăng chất lượng trung bình này được thể hiện rõ hơn nữa trong Hình 2.13c minh họa SR là 0, 20. Đối mặt với một tình huống có mười ứng viên cho mỗi hai công việc, nhà tuyển dụng đang ngồi ở vị trí khá giỏi, bây giờ có thể chọn 20 phần trăm người thực hiện hàng đầu. Những cá thể này được biểu thị bằng vùng bóng mờ của hình bầu dục rơi sang bên phải của hình cắt trong Hình 2.13c. Sự khác biệt về chất lượng trung bình của điểm tiêu chí cho nhóm phụ được chọn này trái ngược với toàn bộ nhóm là rất lớn. Những lợi ích cho người sử dụng lao động về đô la trong tình huống này chắc chắn là đáng kể.
Nguyên tắc chung là tỷ lệ lựa chọn thấp hơn sẽ luôn dẫn đến việc nhân viên có chất lượng tốt hơn được thuê giữ miễn là mối quan hệ giữa người dự đoán và tiêu chí là một số giá trị lớn hơn 0 (âm hoặc dương r 'đều có hiệu quả như nhau nếu có độ lớn bằng nhau) . Trong thực tế, có thể chứng minh rằng nguyên tắc của tỷ lệ lựa chọn có thể được sử dụng một cách hiệu quả trong một số trường hợp ngay cả khi tất cả các ứng viên cần phải được thuê. Điều này có thể xảy ra nếu có ít nhất hai công việc, mỗi công việc có một số lần mở và mỗi công việc có công cụ dự đoán riêng với hiệu lực lớn hơn 0.
Phần trăm nhân viên hiện tại là người thành công:
Trong cuộc thảo luận của chúng tôi về tính hợp lệ và SR, cho đến nay chúng tôi đã giả định tiêu chí là liên tục và do đó điểm tiêu chí càng cao, công nhân càng được coi là thỏa đáng. Bây giờ chúng ta hãy giả sử một điểm số tiêu chí tồn tại xác định liệu một công nhân có đạt yêu cầu hay không đạt yêu cầu, nếu anh ta thực hiện trên một tiêu chuẩn, anh ta được coi là đạt yêu cầu và nếu anh ta thực hiện dưới tiêu chuẩn này, anh ta được coi là không đạt yêu cầu. Các sơ đồ trong Hình 2.14 minh họa điều này.
Trong phần a, mối quan hệ khoảng 0, 70 giữa tiêu chí và yếu tố dự đoán được hiển thị. Lưu ý rằng đường ngang, được gọi là cắt bỏ tiêu chí, tách tất cả các công nhân thành hai nhóm: những người được coi là thành công và những người được coi là không thành công. Tất nhiên, một ý chí bị cắt như vậy phải có tính chất độc đoán. Tuy nhiên, trong nhiều trường hợp, không quá khó để đạt được một số sự đồng thuận liên quan đến hiệu suất tối thiểu chấp nhận được.
Phần b của Hình 2.14 hiển thị cùng một dữ liệu với phần giới hạn dự đoán dựa trên tỷ lệ lựa chọn khoảng 0, 5. Phần cuối của hình cho thấy cả hai phần bị cắt với nhau. Khi được kết hợp theo kiểu này, người ta có thể phân biệt giữa các phần phụ khác nhau của dữ liệu được hình thành bởi giao điểm của hai đường cắt.
Phần A. Những người nộp đơn ở bên phải của điểm kiểm tra bị cắt và trên mức cắt bỏ tiêu chí được gọi là tích cực thực sự. Họ là những người thử nghiệm nói rằng phải thành công và thực sự sẽ thành công theo tiêu chí. Họ đại diện cho các quyết định chính xác dựa trên thử nghiệm.
Phần B. Phân đoạn này bao gồm những ứng viên có điểm dưới ngưỡng dự đoán và dưới mức cắt giảm tiêu chí. Được gọi là tiêu cực thực sự, những người nộp đơn này, giống như những mặt tích cực thực sự, đại diện cho các quyết định chính xác dựa trên dự đoán.
Phần C. Những ứng viên này có điểm dưới ngưỡng dự đoán nhưng cao hơn mức cắt giảm tiêu chí. Những người này sẽ không được tuyển dụng nếu các quyết định tuyển dụng được dựa trên bài kiểm tra, mặc dù thực tế là điểm số tiêu chí cuối cùng của họ đủ cao để xếp họ vào loại thỏa đáng. Điều này thể hiện một loại sai lầm hoặc lỗi xảy ra trong thử nghiệm và được gọi là phủ định giả.
Phần D. Đoạn cuối của hình bầu dục bao gồm những người xin việc sẽ được tuyển dụng nhưng sau đó họ sẽ không đạt yêu cầu trong công việc. Những người này cũng đại diện cho những sai lầm của người Viking trong quá trình lựa chọn và được gọi là dương tính giả.
Một số tỷ lệ có ý nghĩa có thể được xây dựng bằng các phần khác nhau của Hình 2.14c. Ví dụ,
(1) C + D / A + B
Đây là tỷ lệ số lượng lỗi trong lựa chọn so với số lượng nhân viên được đặt chính xác. Kích thước của tỷ lệ này phụ thuộc vào cả ba biến số: vị trí của tiêu chí cắt, vị trí của ngưỡng dự đoán và hệ số hiệu lực. Không chỉ kích thước của tỷ lệ này bị ảnh hưởng bởi các biến này, mà mức độ tương đối của hai loại lỗi, C và D. Thông thường, người sử dụng lao động quan tâm đến việc giảm thiểu dương tính giả hơn là lo ngại về số lượng âm tính giả .
Điều này thường được thu thập bởi những người phản đối thử nghiệm là một trong những tệ nạn chính của lựa chọn khoa học thông qua các bài kiểm tra, cụ thể là một số người bị từ chối sẽ thành công trong công việc nếu có cơ hội chứng tỏ bản thân. Người đọc sẽ phải cân nhắc những ưu và nhược điểm của vấn đề này đối với bản thân mình, các tác giả chỉ nêu ra những khó khăn.
Tuy nhiên, các tác giả vội vàng nói thêm rằng các nhà tâm lý học công nghiệp có thể có đầu óc xã hội như các nhà phê bình của họ. Các nhà tâm lý học công nghiệp nói chung có dữ liệu để kể toàn bộ câu chuyện, trong khi một số nhà phê bình không có bất kỳ dữ liệu nào chỉ đơn thuần là một người đưa tin về một lỗi.
Một tỷ lệ quan trọng khác được đưa ra bởi
(2) A + C / A + B + C + D = phần trăm hiện thành công
Điều này đại diện cho tỷ lệ phần trăm của các nhân viên hiện tại là thỏa đáng. Đó là một tỷ lệ phần trăm cơ bản thể hiện mức độ thành công đạt được với bất kỳ phương pháp lựa chọn nào đã được sử dụng trước khi đưa ra công cụ dự đoán. Tỷ lệ thứ ba,
(3) A / A + D = phần trăm thành công khi sử dụng công cụ dự đoán là biểu hiện của tỷ lệ ứng viên được tuyển dụng sẽ thành công nếu một người sử dụng công cụ dự đoán như một sự trợ giúp để lựa chọn cùng với các phương pháp hiện đang được sử dụng. Trong phạm vi (3) lớn hơn (2), người dự đoán sẽ thêm một cái gì đó vào quá trình lựa chọn.
Khi so sánh cường độ tương đối của (2) và (3), một số nguyên tắc chung có thể được nêu:
1. Đối với bất kỳ hiệu lực và tiêu chí cụ thể nào bị cắt, việc giảm SR sẽ gây ra sự gia tăng hiệu lực. Do đó, người ta có thể bù cho giá trị thống kê thấp nếu người ta có thể chọn lọc trong tuyển dụng của mình.
2. Đối với bất kỳ giá trị thống kê và tỷ lệ lựa chọn cụ thể nào, tỷ lệ phần trăm nhân viên hiện tại được coi là đạt yêu cầu càng nhỏ, thì tỷ lệ phần trăm ứng viên đạt yêu cầu sử dụng công cụ dự đoán càng lớn. Nói cách khác, nếu chúng ta xác định sự khác biệt giữa các tỷ lệ (2) và (3) là
Tiện ích = A + C - A + C / A + B + C + D = phần trăm tăng hiệu quả
Nếu hiệu quả được định nghĩa là phần trăm thành công đang được sử dụng, thì lợi ích lớn nhất sẽ được quan sát trong những điều kiện mà công việc kém nhất hiện đang được thực hiện. Kết quả hợp lý. Có một số trường hợp ngoại lệ, tất nhiên. Ví dụ, hãy xem xét hình 2.15.
Lưu ý từ Hình 2.15 rằng bất kể tỷ lệ lựa chọn nào trong ba tỷ lệ lựa chọn khác nhau mà một người sử dụng, 100 phần trăm tất cả các ứng viên được tuyển dụng cuối cùng sẽ được đánh giá thỏa đáng. Vì vậy, đây là một tình huống mà sự thay đổi tỷ lệ lựa chọn lớn không có kết quả.
Bàn Taylor-Russell:
Một biểu thức chi tiết về các mối quan hệ chính xác giữa kích thước của hệ số hiệu lực, tỷ lệ lựa chọn và tỷ lệ phần trăm nhân viên hiện tại đạt yêu cầu đã được Taylor và Russell (1939) chuẩn bị. Trong các điều kiện nhất định về tính hợp lệ, tỷ lệ lựa chọn và tỷ lệ phần trăm thỏa đáng, các bảng của chúng cho phép một người xác định tỷ lệ phần trăm thuê sẽ thỏa đáng bằng cách sử dụng công cụ dự đoán kết hợp với các phương pháp hiện tại.
Tuy nhiên, các bảng Naylor-Shine được thảo luận trong phần về tính hợp lệ của yếu tố dự đoán sẽ có một số lợi thế so với các bảng Taylor-Russell. Các bảng Naylor-Shine được xây dựng theo sự khác biệt về điểm số tiêu chí trung bình giữa nhóm được chọn và nhóm ban đầu; Taylor và Russell sử dụng sự khác biệt về tỷ lệ phần trăm thành công giữa nhóm được chọn và nhóm ban đầu.
Do đó, các bảng Naylor-Shine dường như cung cấp một chỉ mục tiện ích thử nghiệm có ý nghĩa hơn. Ngoài ra, việc sử dụng các bảng Taylor-Russell yêu cầu các nhân viên được tách thành hai nhóm, thành công và thành công, không thành công, bằng cách chọn một số điểm tùy ý trên kích thước tiêu chí thể hiện hiệu suất tối thiểu của thỏa thuận. không yêu cầu bất kỳ quyết định nào của loại này sử dụng và do đó chung chung hơn trong khả năng ứng dụng của họ.
Một lưu ý thận trọng. Cả bảng Naylor-Shine và bảng Taylor-Russell đều có những hạn chế nhất định rất quan trọng. Cả hai phương pháp đánh giá tiện ích kiểm tra đều dựa trên các giả định rằng (1) mối quan hệ giữa yếu tố dự đoán và tiêu chí là tuyến tính và (2) hệ số hiệu lực được sử dụng là một hệ số có được bằng các thủ tục hiệu lực đồng thời.
Smith (1948) và những người khác đã chỉ ra những nguy hiểm tồn tại nếu một người cố gắng sử dụng các bảng như Taylor và Russell trong các điều kiện mà mối quan hệ không tuyến tính giữa người dự đoán và tiêu chí. Một mối quan hệ như vậy được hiển thị trong Hình 2.16. Khi tồn tại các mối quan hệ phi tuyến tính như vậy, cả hai bảng hoàn toàn không phù hợp để xác định tiện ích kiểm tra.
Việc cả hai bảng giả định một hệ số hiệu lực dựa trên các thủ tục xác nhận đồng thời có thể gây bất ngờ vì trước đó đã chỉ ra rằng hiệu lực đồng thời không phải là sự thay thế đặc biệt tốt cho tính hợp lệ dự đoán. Tuy nhiên, tiện ích kiểm tra liên quan đến việc xác định mức tăng của điểm tiêu chí trung bình (bảng Naylor-Shine) hoặc phần trăm nhân viên thành công (bảng Taylor-Russell) so với mức hiện tại có được với các nhân viên hiện tại. Biểu đồ phân tán cơ bản dựa trên các nhân viên hiện tại được thuê theo các quy trình lựa chọn thông thường. Mô hình tính hợp lệ đồng thời điển hình.
Độ tin cậy của Dự đoán và Tiêu chí:
Độ tin cậy của tiêu chí và của người dự đoán cũng rất quan trọng, chủ yếu là do chúng ảnh hưởng hoặc đặt giới hạn đối với kích thước của hệ số hiệu lực có thể đạt được. Có một mối quan hệ đại số cơ bản tồn tại giữa hiệu lực và độ tin cậy của yếu tố dự đoán và tiêu chí đó là
r pc (thu được) = r pc (đúng) √r pp xr cc
Ở đâu
r pc (thu được) = tương quan quan sát (tính hợp lệ) giữa yếu tố dự đoán và tiêu chí
r pc (true) = mối quan hệ đúng đắn (tính hợp lệ) giữa các yếu tố dự đoán và tiêu chí
r pp = độ tin cậy của yếu tố dự đoán
r cc = độ tin cậy của tiêu chí
Lưu ý từ mối quan hệ trên rằng chỉ khi r pp và r pcc là sự thống nhất (độ tin cậy hoàn hảo) thì hiệu lực thu được sẽ bằng với hiệu lực thực sự. Khi độ tin cậy của hai biện pháp giảm, thì hiệu lực thu được cũng sẽ tăng. Ví dụ: giả sử r pc (true) = 0, 06, r pp = r pcc = 0, 08, sau đó r pc (thu được) = 0, 06 0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Cũng lưu ý rằng nếu độ tin cậy của yếu tố dự đoán hoặc tiêu chí bằng 0, thì chúng cũng có hiệu lực sẽ bằng không.
Tiêu chí liên quan:
Sự liên quan của một tiêu chí ít liên quan đến tiện ích thực nghiệm thực tế của một công cụ dự đoán, mặc dù nó có liên quan rất nhiều đến tiện ích logic của nó.
