LPI考试的题目是按下列方法开发的：

10.创建考试
    在所有目录都被收集和审查后，下一步就是把目录组装成考试并广泛地展开它。 生动的创建形式首先，我们选择那些包含每一目标的目录，并把它们放到完整的测试形式。每一测试将有两种版本。每种版本将由60-100个目录组成，选自所有的测试目标。当一考生考试时，他或她将得到两种版本中的一种。如果他们考试失败而重考，他们将得到另一版本。（如果他们都失败了，他们第三次将得到第一种版本）

注意：当考生考试时，考试中心将随意安排题目。如果考试中心邻座的两名考生得到了同一版本，问题的安排仍然是随意的，他们就不会按同样的顺序来阅卷。

11.前期考试公布
    一旦LPI心理测验学人员决定了版本成份，考试将由文本目录形式转换成实际考试文件模式，通过 测试中心网络将被广泛地传播。对这一点，我们使用在Utah的Galton Technologies的服务。Galton为很多的IT认证程序提供这些服务。Scott Murry，LPI的考试开发主任，与Galton一起工作，把我们的目录变成所需要的形式。在最终产品交给之前，要进行几级审查。在转变之后，要取得考试文件和做进一步工作，保证考试运行正常。最后，一级认证的两个考试都有用。考试101于2000年1月11日，102于4月10日应用。

12.Beta考试时期
    考试现在进入了前期测试时期，最终目标是要决定题目是否正确运行和是否度量了它们要度量的技巧和能力。在测试行业中，这一时期经常叫做初始期，引导期或测试研究期。然而在IT认证行业中，这一时期被称作beta测试期。在这一时期，应试者能报考这些测试，并在本地测试中心完成它们。他们参加这些考试也得到信任。Beta考试与最终考试不同之处在于，应试者不能马上得到考试分数。
    事实上，在beta考试期间，所有的考试都是由LPI心理测试学人员亲手阅卷的，并由邮寄发送到应试者手上的。
    但是在考试得分送出之前，要设置评分标准。这本身就是一个复杂的程序。这时就有几个同时运行的程序。

A.获得足够的考试
    设置评分标准的首要条件就是要获得足够的考试结果。目标是每一考试版本都有100份结果供设置。因此，由于我们每一考试有两个版本，101和102都要有200份考试结果。我们公布了一个激励的计划，提供折扣，还使用Linux Business Expo测试中心来获得必要的考试结果。
    作为beta考试程序的一部分，我们也收集了参加考试的人的统计。（他们使用LINUX多久了？他们是否每天都进行系统管理？他们准备得怎么样了？）我们希望有大量的与我们的目标工作描述相似的人来参加考试。当测试心理学人员在审查题目时，他们就考虑到了进行统计。

B.审查题目
    当考试结果出来时，测试心理学人员就开始检查这些资料。有每个人都答对的问题吗？有每个人都答错的问题吗？（这两种情况都显示了考试题目可能出错了。）考生有什么样的意见？
     我们确实安装了参考的人能发表意见的设备，就像你能从有较强意见的人（经常打字很快的人）那里能得到的一样，我们得到了大量的意见。真的，大量的意见。
    因此这一时期的部分工作就是检阅这些意见，强调问题，增加关心。尽管有冗长的，全面的审查程序，还是有一些技术问题漏掉了，并出现在beta考试中。有一些题目需要丢弃。这些问题中的一些是考生提交的意见发现的。

C.修改了的-Angoff调查
    当心理测试学人员在审查交来的资料时，一些独立的由主题专家同时也在进行一个叫Modified-Angof的调查。它的目标是要为测试心理学人员提供附加的资料，以使问题有效和帮助设置评分标准。
    程序基本上是SME‘S接到每一考试版本的复本。他们检查每一道题（独立地和相互切磋），决定那些最小满足说明中描述的要求的人，怎样能正确回答问题。SME’S被要求从那些技能较差的人执行任务的观点出发，来考虑问题。SME‘S用他们对有多少人能答对一道题的计算来估价题目，并且记住，在做多项选择时，多少人单凭猜测就能答对。
    以下就是这一资料的用法。例如，有一问题，SME‘S的判断比较强硬，他们认为考生只30%能答对。如果考试结果出来后有90%的考生答对了，那么就要检查是否题目的答案被泄露了。（或者是答案出现在本考试中的其它题目中了。）
    相反地，如果有一问题SME‘S认为所有考生都知道，将有95%答对。而当考试结果出来后，只有10%的人答对了，那就要检查目录是否它的描述方法出错了或是有一些其它的问题。
    理想地，Angoff调查的结果应该与beta时期的考试结果有些相同。
    除了有效的目录执行，Angoff调查的结果同样也被用来为考试建立评分标准。例如，打个比方说，Angoff调查结果说所有的问题都太难了，某一版本的平均正确率为30%。这一信息告诉测试心理学家，他们应该把评分标准设得更低些，因为考试问题实在是太难了。

D.发送得分结果
    在所有的资料收集，分析和Angoff调查之后，测试心理学人员设置评分标准，并且为在beta 时期内进行的考试手动评分。然后用邮件把得分发送给每一位考生。

13.考试发行
    在beta时期所有工作之后，评分标准建立了，考试可以发行了。

14.考试再发行
    随着时间的推移, 每次考题更新, 以上一程序都会又包含了一次又一次的审查和重复，要一个月或更长才能完成。

上一页