Đặc điểm của người đánh giá: Độ tin cậy của người đánh giá và khả năng dự đoán của xếp hạng
Cho đến nay, chúng tôi đã bỏ qua chính những người đánh giá thực tế và tầm quan trọng của họ đối với quá trình đánh giá hiệu suất. Mặc dù người ta đã chỉ ra rằng những người đánh giá phải chịu nhiều loại lỗi Lỗi trong việc đưa ra phán đoán và thang điểm đánh giá phải được thiết kế để giảm thiểu những lỗi này, nhưng các đặc điểm của từng người xếp loại chưa được kiểm tra về ảnh hưởng của chúng đối với quá trình xếp hạng.
Rater Độ tin cậy và Dự đoán xếp hạng:
Vấn đề về đặc điểm của người chơi đã nhận được rất nhiều sự chú ý trong những năm gần đây. Buckner (1959) đã khám phá mối quan hệ giữa mức độ người đồng ý và mức độ mà người ta có thể dự đoán xếp hạng với một số biến khác. Nói cách khác, Buckner đã hỏi câu hỏi Xếp hạng có độ tin cậy cao, ngụ ý rằng tôi có một tiêu chí sẽ dễ dự đoán hơn? Câu trả lời hóa ra là không. Buckner chia tỷ lệ của mình thành bốn nhóm, tùy theo mức độ các thẩm phán đồng ý trong việc phân loại xếp hạng của họ.
Nhóm 1: Các thẩm phán đã thống nhất cao về các tỷ lệ này
Nhóm 2: Các thẩm phán đã thỏa thuận vừa phải về các tỷ lệ này
Nhóm 3: Các thẩm phán đã thống nhất thấp về các tỷ lệ này
Nhóm 4: Các thẩm phán không đồng ý về các tỷ lệ này
Sau đó, ông đã tiến hành xác nhận hai bài kiểm tra bằng cách tương quan kết quả kiểm tra với xếp hạng Xếp hạng được thực hiện cho từng nhóm riêng biệt. Anh ta tìm thấy không có mối quan hệ hệ thống giữa kích thước của tính hợp lệ thu được của anh ta như là một chức năng của nhóm mà anh ta đang làm việc. Windle và Dingman (1960) đã chỉ trích cách giải thích của Buckner và thực hiện một nghiên cứu thứ hai trong đó họ tìm thấy kết quả được đưa ra trong Bảng 7.4.
Lưu ý cường độ tương đối của các hệ số hiệu lực được thể hiện trong Bảng 7.4. Những người càng đáng tin cậy thì hiệu lực càng cao. Tương tự xếp hạng càng đáng tin cậy, hiệu lực càng cao.
Do đó, người ta có thể mong đợi một cách hợp lý các kết quả giống như của Windle và Dingman hơn là của Buckner. Tuy nhiên, người ta cũng phải nhớ rằng độ tin cậy cao chỉ là điều kiện cần thiết cho tính hợp lệ cao. Đây không phải là điều kiện đủ.
Wiley, trong một loạt các nghiên cứu, đã kiểm tra tính nhất quán của các phán đoán của người đánh giá theo thời gian đối với việc họ đồng ý với các phán đoán trước đó như thế nào bởi cùng một người đánh giá (Wiley 1963; Wiley và Jenkins, 1963) đánh giá (Wiley và Jenkins, 1964). Nhìn chung, những người xếp loại đã được tìm thấy thống nhất trong xếp hạng của họ trong khoảng thời gian mười tháng.
Ngoài ra, ông phát hiện ra rằng những người đồng ý rất chặt chẽ với tổ hợp nhóm trong một nhiệm vụ xếp hạng ban đầu cũng là những người đồng ý nhất với tổ hợp nhóm về một nhiệm vụ xếp hạng khác một tháng sau đó. Ông gợi ý rằng kiến thức này có thể được sử dụng để lựa chọn những người xếp loại thực sự đại diện cho sự đồng thuận trung bình của một nhóm người lớn hơn.
Thật không may, vấn đề liệu những người tán thành có đồng ý với tổ hợp nhóm hay không là những người đánh giá tốt nhất để thu hút chưa được xác định. Tuy nhiên, có logic cho rằng nếu có thể có được xếp hạng tổng hợp bằng cách sử dụng một số lượng nhỏ các tỷ lệ sẽ xấp xỉ tổng hợp thu được bằng cách sử dụng một số lớn hơn, chắc chắn người ta có thể tiết kiệm thời gian và tiền bạc.
Nhiều đặc điểm khác của người đánh giá đã được chứng minh là đóng vai trò trong việc đánh giá hiệu suất đạt được bằng xếp hạng. Christal và Madden (1960) đã chỉ ra rằng một sự cân nhắc quan trọng là mức độ mà một người chơi quen thuộc với nghề nghiệp mà anh ta đánh giá, một phát hiện được hỗ trợ bởi các nghiên cứu bổ sung của Madden (1960a 1961). Tương tự, Wiley, Harber và Giorgia (1959a, 1959b) đã chứng minh tầm ảnh hưởng của xu hướng người chơi tổng quát là đáng chú ý về tác động của chúng đối với xếp hạng.
Định dạng thang điểm đánh giá và đánh giá hiệu suất:
Madden đã báo cáo một số nghiên cứu liên quan đến ảnh hưởng của thang đánh giá. Trong một nghiên cứu (Madden, 1960b), ông phát hiện ra rằng độ tin cậy xếp hạng và mức độ dễ đánh giá không bị ảnh hưởng bởi việc sử dụng hoặc thiếu sử dụng các ví dụ trong việc xác định thang đánh giá, nhưng liệu thang đo được xác định là trái ngược với không được xác định ảnh hưởng đến độ tin cậy và dễ sử dụng.
Trong một nghiên cứu tiếp theo, Madden và Bourdon (1964) đã nghiên cứu ảnh hưởng của bảy định dạng thang đánh giá khác nhau dựa trên xếp hạng của 15 ngành nghề khác nhau trên 9 yếu tố công việc khác nhau. Các kết quả, mặc dù có phần phức tạp về bản chất, chỉ rõ rằng xếp hạng được chỉ định cho một nghề nghiệp phụ thuộc vào cả yếu tố công việc liên quan và định dạng thang đánh giá cụ thể đang được sử dụng.
