Shaman 系统工程设计

原则
心理测试题应该遵循可复现性和有效信度的科学方法论原则
等效分类聚类原则，秉承科学和系统分类法

可复现指标

常模
信度
MAE MSE
ACC
容忍区间
互斥系数
偏度
模型参数
精度模

不应该使用简单规则匹配，而应该是模型拟合（判断系统性模型相似性），单一试题不应该对结果造成较大影响

让读者理解，避免“懵逼”、“乱选”、“大量中立”、“谎言”等异常情况。

标签设计，应该面向更多信息量而不是简单分类，并惯用系统命名法
如经典MBTI测试题，通常只有4bit 信息量，16个状态集，不能准确对人群进行精细化划分，且无非准确定位边缘亚型，这就很不好了

使用等效树模型，本工程化心理测试题面向工程化、实践化，追求可复现、有效化，面向对人群的有效聚类和再分类。即测试题应该面向分类而不是现有某一具体模型，是一种偏向客观的无监督学习的方法论，应该更关注实际的有效性和可复现性而不是高度依赖理论。
（如果实际反馈与理论不一致，更应该对理论进行更新而不是强理论依赖）

亚型一致性和准确性
如MBIT中，某一类型中的实例（具体人）可能与典型特征具有较大差异，即使测试可信，这可能是目标源分类不正确导致
如 ISTJ 和 ESTJ 其中 I/E 维度不明朗，实践中传统刻板印象认为的内向的人更沉默寡言，而事实上目前现有的各类测试题大部分都不能很好实现该维度的评估。
即使是现代心理学认为的心理需求理论，但是目前的测试题仍然不能很好实现对该需求的评估。

如某人被分在 I 人，而实践中该对象有很强的领导欲和领导能力，只是不屑于或没有与其他人沟通琐事的爱好，这通常导致错误的源分类异常。如果按照毕比模型，此对象显然Te排序更前，及时他没有世俗上的外向特征，也不应该暴力分类在I区。
正确应该是先分类在 EXXJ中，引出子分类 EXXJ-IXXXX，以正确评估表现型和内部原型。
实践中许多测试题，没有评估控制欲、领导欲、价值观等Te核心特征，暴力单纯地评估社交特性从而导致错误的I/E分类。

不合理的分类测试，导致复现性低、重测率低。
不合理的统计方法，现有测试通常缺少专业人员指导、目标人群聚集，导致人群可信性过低。
常模特征不明朗，许多人可能对心理测试不屑一顾，导致乱填、大量中立、非科学采样等问题，现有测试题结果的常模特征极难准确分析。
（如对网上高达1千万份的测试结果进行分析，发现N人高于S人，这与实践观测具有较大差异）

使用科学常模取样，测试题应该面向完全双盲随机抽样，即完全随机的分发抽样测试，这样才能取得更真实的常模特征。

题目设计应该考虑不同人理解能力、学习能力的异常，应该面向大众化理解，避免部分人群不认真读题、错误理解、感性化乱填的现象。

题目设计应该指导用户理解：
如：
我喜欢抽象的艺术作品。
非常赞同、赞同、中立、不赞同、非常不赞同
注：该题目及其脱离群众，且“艺术”描述不明，极易导致用户懵逼选中立。

优化：
我喜欢各类的美术、音乐、写作等各类特色作品，并有对每种作品都有自己独特的系统见解、理解，即是这些作品非常小众。
解释：
如果从来没有这种体验（或很少，日常没有刻意关注时）不应该选中立，而应该选非常不赞同。
如果你对某一类作品非常了解，可以对他们分门别类的说出作者、具体作品名，或有深深的共鸣，此时应该选非常赞同。

非常赞同、赞同、中立、不赞同、非常不赞同

如：
我喜欢体验竞技类和感官刺激的运动。

注：该题目同样及其脱离群众，极易导致用户乱选不赞同。

优化：
我对运动的态度是偏向运动竞技类（偏向更多的体感和华丽的操作），且这类运动能够带来更多的感官体验。
或：
在电子游戏的选择中，相比那些剧情类、故事类、建造类、探索类等游戏，我更喜欢操作类、竞技类等操作更多游戏。

在游戏中我更注重体验主角或人物的故事、剧情和体验（我甚至把我带入到他的场景中去，深刻体验他的情感变化），为了这个体验即是开挂、剧透我也无所谓，而不是为了去用更灵活、更牛逼的的操作去通过关卡、打赢BOSS。