Mặc dù các mô hình đo lường bậc cao có vẻ có nhiều ưu điểm, nhưng chúng ta cũng phải xem xét các nhược điểm. Nói chung, chúng phức tạp hơn về mặt khái niệm. Một cấu trúc có thể trở nên trừu tượng đến mức khó có thể mô tả đầy đủ ý nghĩa của nó. Độ phức tạp tăng thêm cũng có thể làm giảm giá trị chẩn đoán của một cấu trúc khi nó bị loại bỏ thêm khỏi các mục đo lường hữu hình.
Các mô hình CFA bậc cao hơn cũng tạo ra nhiều tiềm năng hơn cho các giải pháp CFA không xác định hoặc không phù hợp. Ví dụ, các nhà nghiên cứu có thể có một hoặc nhiều yếu tố bậc cao với ít hơn ba chỉ số.Một yếu tố bậc cao có hai mục có thể tồn tại trong một mô hình CFA nhưng bản thân yếu tố đó là under-identified nếu không có thêm ràng buộc để tăng độ xác định lên
Với mô hình nhân tố bậc hai hoặc cao hơn dạng phản ánh reflective, tất cả các yếu tố bậc nhất, hiện là chỉ số của yếu tố bậc hai, dự kiến sẽ di chuyển cùng nhau (đồng biến), giống như các mục được đo lường của các yếu tố bậc nhất. Khi nhiều yếu tố bậc nhất được sử dụng làm chỉ số của yếu tố bậc hai, nhà nghiên cứu sẽ từ bỏ khả năng kiểm tra mối quan hệ giữa các yếu tố bậc nhất này và các cấu trúc chính khác. Do đó, một nhược điểm của mô hình đo lường trong hình sau
Là chúng ta không thể điều tra, ví dụ, các mối quan hệ trực tiếp giữa PB và EN hoặc SP. Do đó, giả định là tất cả bốn chỉ số bậc nhất sẽ ảnh hưởng đến bất kỳ cấu trúc nào khác theo cùng một cách. Nếu một trường hợp khái niệm có thể được đặt ra rằng bất kỳ yếu tố nào trong số các yếu tố bậc nhất này sẽ ảnh hưởng đến cấu trúc khác một cách khác biệt, thì có lẽ không nên sử dụng lý thuyết đo lường bậc hai. Trường hợp này được điển hình khi một trong một tập hợp các cấu trúc bậc nhất có liên quan sẽ ảnh hưởng tích cực đến một số cấu trúc khác trong khi các cấu trúc bậc nhất khác sẽ ảnh hưởng tiêu cực đến nó.
Một số câu hỏi có thể giúp xác định xem mô hình đo lường bậc cao hơn có phù hợp hay không được liệt kê ở đây:
1 Có lý do lý thuyết nào để mong đợi rằng tồn tại nhiều lớp khái niệm của một cấu trúc không?
2 Có phải tất cả các yếu tố bậc nhất sẽ ảnh hưởng đến các cấu trúc liên quan đến danh nghĩa khác theo cùng một cách không?
3 Có phải các yếu tố bậc cao hơn sẽ được sử dụng để dự đoán các cấu trúc khác có cùng mức độ trừu tượng chung không?
4 Có phải các điều kiện tối thiểu để tính xác định identification và thực hành tốt phép đo ở cả lớp bậc nhất và lớp bậc cao hơn của lý thuyết đo lường không?
Nếu câu trả lời cho mỗi câu hỏi này là có, thì mô hình đo lường bậc cao hơn sẽ được áp dụng.
Sau khi thử nghiệm thực nghiệm các mô hình bậc cao, các câu hỏi sau cần được giải quyết:
1 Mô hình nhân tố bậc cao có phù hợp không?
2 Các yếu tố bậc cao có dự đoán các cấu trúc liên quan đến khái niệm khác một cách đầy đủ và như mong đợi không?
3 Khi so sánh với mô hình nhân tố bậc thấp, mô hình bậc cao có thể hiện giá trị dự báo ngang bằng hoặc tốt hơn không (yếu tố bậc cao không che dấu các phát hiện từ các yếu tố bậc thấp riêng lẻ)?
Một lần nữa, nếu câu trả lời cho những câu hỏi này là có, thì lý thuyết đo lường bậc cao sẽ được ủng hộ.
