蒲公英 - 制药技术的传播者 GMP理论的实践者

 找回密码
 立即注册

QQ登录

只需一步,快速开始

使用微信帐号登录

使用微信帐号登录

搜索
查看: 645|回复: 13
收起左侧

【CSV-CDS:第33章】定期审查CDS

[复制链接]
大师
发表于 2020-6-28 18:28:35 | 显示全部楼层 |阅读模式

欢迎您注册蒲公英

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
声明:本帖内容请勿用于商业用途,否则后果自负,转引请联系译者(楼主)。@快活王  你的菜来了。
向本书作者R.D.McDowall先生致敬,先生已授权可翻译、连载。

第33章定期审查CDS
根据数据系统审计需求的紧迫性,为确保系统持续运行在有效的、可控的状态,应视情况定期对CDS进行独立审计或定期审查。审核组的意见将被记录,过程所有者将负责纠正任何定期审查的结果。
本章还将讨论监管指导文件中建议的数据完整性审计。
33.1监管机构想要什么?
33.1.1欧盟GMP附件11
附件11第11条规定了定期审查(称为定期评价),规定如下【1】:
计算机化系统应定期进行评估,以确认它们仍处于有效状态,并符合GMP要求。在适当的情况下,这些评估应该包括当前的功能区间、偏差记录、事件、问题、升级历史、性能、可靠性、安全性和验证状态报告。
33.1.2 PIC/S关于GXP环境下计算机化系统的指南
在第23条中对检查机构的指南是在监管审计期间将提出的问题的一个重要指标。请阅读本节全部内容及第24节,因为这些部分的重点是检查计算机化系统。PIC/S指南的以下章节是相关的【2】:
23.9公司的验证方法应遵循生命周期方法,包括本指南中概述的管理控制和文件,其中包含一致的最佳实践指南。
23.10检查员应审查选定系统的公司验证总结报告(VSR),必要时应参阅系统验收测试规范和较低级别的文件。他们应该寻找确认测试与相关规范的验收标准相关联的证据,即Q与URS……
23.11检查人员应在选定的文件中寻找行动、测试的可追溯性,以及错误和偏差的解决办法。如果公司没有对其系统生命周期和验证文档进行适当的更改和版本控制,那么验证状态就是可疑的。
23.12审核员应考虑PIC/S GMP附件11中与特定验证项目相关的所有部分……
23.13缺乏对每个系统(保持对变更的最新控制)、其功能、安全性和交互的书面详细描述;缺乏软件开发过程的质量保证的证据,再加上缺乏足够的验证证据来支持使用GMP相关的自动化系统,可能是一个关键的或主要的缺陷。排名将取决于检查员对特定情况的风险评估判断。(注意:自1983年以来,GMPs要求验证电子数据处理系统,自1992年以来要求验证所有与GMP相关的计算机系统)。
23.14如果对验证证据感到满意,检查人员应在系统使用时对其进行研究,并要求系统打印相关的报告和档案。附件11中的所有要点可能与评估的这一部分有关。寻找与验证工作、变更控制、配置管理、准确性和可靠性相关的证据。安全、访问控制和数据完整性将与许多系统相关,特别是EDP(即:电子数据处理)系统。
33.1.3 ICH Q7 原料药GMP
第12.6节讨论了对经过验证的系统的定期评审【3】:
应该定期评估系统和过程,以验证它们仍然以有效的方式运行。如果系统或过程没有发生重大变化,并且质量评审确认系统或过程始终如一地生产符合其规格的材料,则通常不需要重新验证。
请注意:欧盟GMP part 2 已纳入ICH Q7的要求。
33.1.4世卫组织关于良好数据和记录管理规范的指南
定期审查呈现出不同的维度,以聚焦于数据完整性。如《管理管治和质量审计指南》第6节所述【4】:
对计算机化系统的常规检查可能会发现安全控制方面的漏洞,从而无意中允许人员访问并可能更改时间/日期戳。这些调查结果有助于提高对管理需要的认识,以分配资源来改善计算机化系统验证控制;
本指引第8条着重于良好数据和记录管理方面的培训,如第8.3条所述【4】:
质量检查小组应检查:其在日常工作中,在系统、设施审核,自检,向管理层报告的任何改进的机会等工作中,使用的纸质记录和电子记录是否遵守良好的文档规范。
此外,在审查原始记录一节的第24页中【4】:
质量保证还应审查相关审计跟踪、原始数据和元数据的样本,作为自检的一部分,以确保持续遵守数据治理政策/流程。
33.1.5合规政策指南(CPG)的第130.300条
定期评审应视为内部质量保证报告,因此通常不应向监管检查员出示。在FDA已经编写的CPG第130.300条中【5】:
在对任何受规管的有书面的质量保证程序的实体的例行检查和调查中,FDA不会审查或复制基于书面质量保证计划的有审核和审查结果的报告和记录,包括根据21CFR 820.22进行的审计和根据21 CFR 58.35(b)(4)要求的书面的企业状况报告。
FDA可以要求书面证明这些审核和检查已经实施、执行并形成文件,并且已经采取了任何必要的纠正措施。
为了实现有效的内部审计,监管机构不会要求审计报告的副本,而是希望获得审计报告已经发生的证据,并可以详细查看审计结果所导致的纠正和预防措施。请注意:不要求内部审计报告复印件的政策不适用于有因检查。
33.1.6法规要求总结
从本书的第一版开始,法规就要求对CDS进行控制,并通过系统的操作层面来维护其验证状态。现在,又增加了对确保数据完整性的强调。重要的是,内部审计或定期审查必须足够严格,以确保系统保持其验证状态,并确定法规遵从性和数据完整性中的的整体缺陷。然而,在考虑欧盟GMP附件11时,必须考虑到条例的第1条:风险管理应该在整个生命周期中应用【1】。
因此,这一条款的一些基于风险的解释是:
●你必须对计算机化的系统进行定期检查。
●本规定没有例外(即只对关键系统进行定期评估),应审查所有系统。
●审查的频率由公司的质量保证或实验室管理方根据系统的临界性及其产生的数据决定。审查期间应形成文件并加以证明。本声明隐含的意思是,你应采用风险评估,以确定审查频率,而附件11第1条亦明确指出,风险评估是在电脑化系统的整个生命周期内进行。
●任何评审的目的是确保系统符合适用的法规,并在自上次评审以来的一段时间内保持有效状态。
●定期评审的范围可以涵盖上一次的全面验证、上一次验证以来的变更控制记录、问题及其解决方案、用户帐号管理、用户培训,以及在数据备份等方面来自于IT的支持。
然而,规则中没有说明的是流程的形式。那么,我们如何向检查人员证明已经进行了定期检查呢?除非它被正式记录下来,否则你不能;就是这么简单。每年的定期审查需要有一个时间表,每个月都有安排检查;如果它被执行了,则须有报告的日期、由主审核员签署的证书或同等证书;完成上述这些,则可认为已完成审查。
33.2实施定期审查的理由
定期审查是对CDS进行内部审计的另一种形式,目的是评估系统是否仍在控制之下,是否仍然有效,以及生成的数据是否完整。如果有发现,则提出纠正和/或预防措施,以便在实施时将系统重新置于控制之下。如果一家公司发现并纠正了操作系统中的任何问题,这比检查人员发现不符合规定的情况更便宜、更有效。
33.2.1审查与审计
虽然附件11的规定谈到了定期评估,这本书的第一版称这一活动为定期审查,这个术语在这一版中继续使用。然而,也有由质量保证部门将之贯彻于设备和实验室审计。那么,定期评估、定期审查或审计是相同的还是不同的?在我看来,定期审查或定期评估是一样的,都集中在计算机化的系统、它的自动化过程和对它的支持过程。相反,审计可以包括计算机化系统、实验室程序、设施、质量系统或实验室任何部分的子系统。因此,审计可以与定期审查/评估相同,但也可以是对实验室操作的更广泛检查,以确保符合法规和内部程序。审计也可以包括作为审计过程一部分的计算机化系统,但一般来说,审计的范围比定期审查的范围更广。因此,从另一个角度来看,定期审查是实验室审计的一个子集。
33.2.2谁执行审查?
进行定期审查有两种选择:
●过程所有者或所有者委派的人员;
●独立的合格的审核员,可以来自其他职能部门,也可以来自质量保证人员。
客观评估系统的合规性状态和遵守书面程序的唯一选择是根据欧盟GMP关于自检的第9章的要求进行独立审计【6】。由系统所有者或由他或她委派的个人进行的审查不能是客观的,因为他们通常涉及系统和操作过程。因此,内部委派审查既不是客观的,也不是独立的,审查结果和提出的纠正行动可以被忽视或淡化,使其无效。
通过QA组安排的独立审计人员(QA的成员,另一个功能组中的个人,但代表QA或外部个人)可以是客观的,没有任何既得利益。由QA或通过QA进行的评审或审计意味着任何观察、发现或纠正措施都不会被隐藏或忽略。审核员与过程所有者及其代表一起对系统和相关文档进行评审。
33.2.3审查应多久进行一次?
定期审查的频率是一个有很多争论的话题——平衡资源和纠正措施。当一个实验室被检查时,CDS是检查员通常了解的两个主要系统之一(另一个是LIMS)。由于CDS的普遍特性及其在制药研究、开发和制造的大多数受监管阶段中的关键用途,使得任何CDS在检查期间都成为一个明显的监管目标。涉及CDS和数据完整性的警告信数量就证明了这一点。
此外,系统本身也将发生变更,增加和修改仪器,更新操作系统和CDS应用服务包,这些都需要得到批准和控制。
因此,建议每隔12个月和最多24个月进行一次定期审查,并强调最低审查次数而不是最高审查次数。谨慎的公司可能希望将任何定期审查与当地或外国检查员的预期检查同步进行。不要在检查前一个月进行,而要在检查前六个月进行,以便在检查小组到达现场之前实施和操作任何关键或重大发现的纠正措施。在检查过程中,可能会给你留下最坏印象是,在检查开始前一周已经批准了当前的文档。
如果一个新系统在初始验证和整个实验室的全面使用之间经历了很大的变化,那么强烈建议在完成后的6个月内对其进行定期审查。这样做的基本原因是,任何不兼容或不完整的实践都可以在系统的操作生命周期的早期捕获并纠正,而不是在两年后。始终记住,遵从性的成本总是比不遵从性的成本更低。组织将发现,在较短时间内进行审查的合规成本,远比在收到一份不利的检查报告后做出条件反射式的反应要划算得多。这一点,只要问一下FDA关于数据完整性和CDS的警告信的接收者就知道了。
33.2.4审核员的技能和培训
要进行定期审查或有效审查,有许多必要的要求。这些是:
●了解当前的GXP法规和由监管机构或行业机构发布的相关指导文件。至少,这些知识需要在实验室工作的同一个良好实践学科中,但是了解其他良好实践学科的要求是一个优势,因为一个学科在特定的点上可能是模糊的,而另一个学科可能有更多的细节。例如,在GMP中,对于计算机化系统所要求的sop并没有监管机构的指导方针,但是FDA已经发布了一份针对临床调查的指导方针,其中最低限度的程序清单可以在附录a中找到【7】。
●注意上述规定的知识“当前”。这是因为法规和指南正在以越来越快的速度变化,特别是在欧盟,自2011年以来,欧盟GMP第一部分的九章中的八章已经更新。
●有使用计算机系统的工作经验,知道哪里(不符合要求的地方)可以藏着猫腻,哪里可能发生不好的操作。
●了解公司、部门或实验室实施和运行经过验证的计算机系统的现行程序。这是对法规的解释和对实验室工作人员工作的指导,需要既及时又灵活。
●开放和灵活的方法,加上理解,有很多方法可以使其处于受控之中。因此,审评人的方式并不是唯一的工作方式;如:验证计算机化系统并维护其已验证的状态,或者基于GAMP指南和实验室计算机化系统的GAMP良好实践指南【8】,以风险为本的方法操作GXP规管下的计算机化系统【9】。正如詹金斯法官在FDA诉犹他州医疗案中所述:“条条大路通罗马”【10】;事实上,实验室所做的事情与你认为他们应该做的事情不同,但这并不会妨碍它的合规性。
●最后,良好的人际交往能力加上脸皮厚。审查员需要提出开放式的问题,以了解正在执行什么流程,并使用相关问题进行调查,以确定工作是否足够或存在不遵从性。说服可能需要改变工作方式,并且需要厚脸皮得忽略任何可能出现在你面前的个人言论或侮辱。
33.3定期审查过程概述
33.3.1定期审查的目标
对计算机化系统进行定期审查应该有两个主要目标。
1. 为过程所有者和高级管理人员提供独立的保证,确保控制措施在被评审的系统正常运行。系统保持在验证状态,控制措施充分工作以保持验证状态。
2. 识别那些无效了的控制措施,并帮助过程所有者和高级管理人员改进它们,从而消除识别出的弱点。这类识别结果可能拓展性的适用于单独的计算机化的实验室系统或实验室的所有系统。
在我看来,第二个目标是最重要的。此外,任何定期审查的重要结果,都令高层管理人员认识到,某些管制措施可能需要有系统的解决方法:如果在适用于所有系统的程序中发现了问题,这一问题的解决可能会影响实验室中使用的所有计算机化系统,而不仅仅是被审查的系统。
33.3.2计划定期审查
计划定期审查由许多活动组成,这些活动在正式计划的编写中积累起来。
●同意审查所需时间。当CDS应该被审查时,评审人员将与流程所有者联系,以请求其同意审查所学时间。审查所需时间视乎计算机化系统的规模及复杂程度而定,但一般为1至3天。重要的是要商定日期,以便关键人员能够与审查人讨论他们的专业技术领域,否则,由于缺乏专业知识,可能会错过不符合要求的地方,从而导致降低审查人的工作深度。例如,一个联网的CDS可能需要两天的时间。
●同意审查的范围:评审人员应询问有关CDS的信息(如果还不知道),以确定审查的范围。这对于实验室和IT都有责任的系统尤其重要,因为这两个部门需要协调。如果IT部门是外包的,那么需要与外包公司联系,以确保员工可以接受定期审查。
●编写定期审查计划。写一份审查计划,其中包括要评审的系统名称、商定的评审日期、部门和cd所在的位置,以及评审所依据的将被引用法规和程序,如GMP或GLP法规、行业指南文件等。计划中应该包括审查者想要讨论特定主题时的活动时间表。通知实验室和任何其他工作人员这件事是很重要,这样他们将被提出要求以帮助他们计划一天的工作,从而避免时间冲突。
●审查计划的批准和确认。定期审查计划是一份需要审查人签字的正式文件,作者和审批人也需要签字。根据公司的政策,流程所有者可能还需要签署计划,以确认他们批准了该计划,如果发现任何问题或不符合情况,还需要执行相应纠正措施。
33.3.3谁参与其中,他们做什么?
谁应该参与定期审查?这些角色视所审查的CDS的规模而定,如下所示:
●过程所有者:在实验室中对CDS及其生成的数据负责的个人。虽然个人可能不是负责系统本身的流程所有者,但系统在实验室里运作,他们是责任方。至少,他/她应出席开幕和闭幕会议,介绍自己,听取审查结论并讨论任何发现。
●系统所有者:从IT的角度来看,系统所有者是负责支持系统的人。如果IT功能已经外包,那么系统所有者可能来自外部公司。
●高级用户/实验室管理员:根据系统的大小,这些角色可以由一个或多个个人担任。审查员需要能够接触到实验室中从技术角度了解CDS操作方式的人员,例如实验室管理员。此外,如果实验室管理员不能提供此支持,审查人也可以要求与有经验的用户讨论适用的程序和系统的使用。
●计算机验证:由于定期审查将检查系统的最后一次验证,因此需要有一个人可以回答评审者关于此主题的问题。这取决于工作的执行方式,可以是实验室管理员,也可以是组织内计算机验证组的成员。
●质量保证:负责实验室的质量保证(QA)人员也可以参与定期审查。根据他们的知识深度,他们的参与范围可以从感兴趣的观察者到完全的参与者。
根据要审查的cd的规模,可以合并其中一些角色。
这时就需要一个定期审查的时间表。与其让每个人都在那儿等着被通知,不如制定一个审查时间表,写明审查的主题和大致的时间。这使得个人可以完成他们的正常工作,并在指定的时间集结。
33.3.4安排审查
定期审查将遵循以下大纲时间表:
●开幕会议,介绍所有参与审查和讨论时间表的人员,并根据人员的可用性在最后一刻进行调整。
●流程所有者对新系统的概述,以使评审团队熟悉该系统。或者,如果一个现有的系统正在被审查,这是一个通知审计团队自上次定期审查以来的变更的机会。
●根据计划对CDS的不同方面进行审查。
●对选定记录的数据完整性进行审计,以及CDS和任何纸质打印输出中的相关元数据(如果作为混合系统使用)。
●审查员的闭门会议,审议审查意见,确定审查结果及其严重程度,并为闭门会议制定计划。
●闭会期间,至少与过程所有者、系统所有者和其他被审核方讨论并达成一致意见。
●撰写定期审查报告和任何发现,供过程所有者采取行动。注意,这里没有提出时间表,这取决于系统的规模和审查的范围;它可以持续一天或几天。报告应在审查后4周内提供,并在报告发布后4周由流程所有者确认如何解决不符合问题。
33.3.5审查范围
下列项目指明应在定期审查中包括的一些项目:
●验证文档。URS必须是最新的,以反映系统的任何新版本,而当前的URS必须与现场运行版本的软件关联。必须将CDS应用程序的配置设置与配置规范进行比较;他们应该匹配。
●变更控制和配置管理。检查这个关键的SOP,然后选择一些变更请求,并跟踪它们的整个过程,以查看请求和处置过程是否匹配。将审查的这一部分与相关的配置管理记录联系起来:那些事实上的变更结果能够反映变更申请的需求。另外,在实验室中查找配置项并检查配置记录是否准确。看看紧急变更的总数:
如果在一个较新的系统中有一个相对大的比例,如>5%,或者在一个成熟的系统中有>1%,那么这是一个潜在的问题。要么这个系统有很多问题需要进一步调查,要么变更控制系统被滥用。还要检查一个变更需要多少测试,以及这是否与变更的范围相适应。
●安全性和访问控制。审查的目的是看看用户安全是否准确,是否反映了当前的用户类型。例如,前用户的帐户是否已被及时禁用,或者它们是否仍处于活动状态?系统中当前用户的类型是否具有与用户帐户管理SOP中的记录匹配的用户类型?特别是,选择最近在用户群中更改了位置和角色的用户。查看管理权限是否独立于实验室用户。
●培训记录。当前用户培训记录,自上次审核或上线以来的任何增量变更。是否有最新的记录,是否进行了相关的培训并保持最新?如何评估关键程序的理解和实践能力?
●用户程序。这些是最新的吗?它们是否反映了当前的工作实践?如果使用电子文件管理系统以电子方式管理和分发sop,请查看实验室和办公区域是否有任何非受控和过期的副本。
●操作日志。应该检查系统的维护日志,看看它们是否遵循适用的sop。应该在一段时间内以硬拷贝形式或通过帮助台记录的形式查看问题日志,以查看是否有任何重复出现的问题,以及已经采取了什么措施来纠正这些问题。有时,一个问题解决可能会关联一个变更请求——具体地说,从问题记录跟踪这个问题到变更控制过程,并评估两个过程之间是否存在任何通信故障。
●备份和恢复。检查备份日志,看看在给定的时间段内发生了什么问题,例如,如果备份失败,相应的纠正措施是否遵循SOP,是否有充分的文档记录?审查员可能还想查看这里涉及的IT人员的培训记录,以及如果备份使用了磁盘,是否遵循了磁盘介质的管理程序。以查看从磁盘恢复数据的请求的频率来反查数据恢复的日志。这可能表明需要进一步调查的数据丢失问题。
●经营环境的变化。快速的组织变革(重组、合并和收购)在今天的实验室中是不可避免的。因此,在定期审查期间评估自从上次审查CDS或自从系统上线以来发生了什么变化。系统描述是否最新?用户是否仍然是相同的实验室,甚至是相同的组织?流程所有者仍然是同一个人吗?如果在操作上有任何变化,系统产生的电子记录是否还是原来的,还是有变化,是否反映在文件中?
在定期审查期间这些都是可选的检查领域,其他领域可以由CDS执行的操作或预期的监管检查类型来选择。
33.3.6报告定期审查和后续行动
在审查结束时,审核员应准备一份关于审查内容的报告,以及是否有需要纠正和/或预防措施的发现。报告很重要,因为它是审查的正式记录,并将对应的责任交给流程所有者。本报告必须以内部质量保证报告的方式处理,而不是以第33.1.5节所述的方式显示给监管检查员。作为审查已经进行的证据,许多组织提供由主审核员签署的审查证书,以提供给监管方检查员作为凭证。
报告应列出深入审查的内容、简要审查的领域和没有进行审查的领域。以便于任何未来的定期审查和审计人员方便的审视进行了哪些计划和实践。
调查结果应按严重程度分类;一个典型的评级方案可能是:
●重大缺陷:需要快速解决的事项,因为它可能导致警告信或影响系统生成的数据的质量或完整性。
●主要缺陷:不影响数据的质量或完整性,但属于严重不合规,应予以纠正。一个主要的缺陷也可能是系统同一区域的一组次要的缺陷。
●次要缺陷:如果或略,可能会变成大问题或关键问题的问题;或者是一个轻微的不符合,不影响系统或者操作。
不符合项及其严重程度列出的行动计划应是报告的另一个结果,并由审查人员提出解决建议。流程所有者应该用实际的纠正措施和完成它们的时间刻度来回应这些问题。一些组织可能要求流程所有者提供已完成纠正操作的文档化证据。例如,如果要更新一个操作程序,就要向审查员提供一份新版本的SOP。或者,这将是计划中的一个项目,供下次定期审查。
33.4执行定期审查
33.4.1定期审查的准备
从审查者的角度来看,个人需要阅读关于系统的信息,并更新他们关于系统在哪些相关sop下被验证和系统在哪些sop下运行的知识。PIC/S指南建议从验证总结报告【2】和第33.1.2节开始。然而,在我看来,这只是部分地适当,一个较好的办法是阅读下列文件:
理性的阅读如图33.1所示这些文档。这种方法通过比较验证工作的目标和交付结果并查看它们是否匹配来检查验证计划和控制的质量。这为审查人员提供了一个良好的基础,以便开始审查系统的验证。如果验证是可疑的,那么系统产生的结果的质量和准确性也可能是可疑的。阅读URS可确定系统的预期用途已订明的程度,从而决定余下的验证工作(如图33.1所示)可能已完成的程度。
                              
图33.1定期审查前对关键验证文件的预读。
此外,还应要求提供系统说明和当前计算机验证的sop。如果这是一个后续的定期审查,那么审查员可以要求查看前一次审查完成的纠正和预防措施并最初的发现进行比较。
同样,将接受定期定期检查的实验室工作人员也应该为检查做准备。最基本的,如果还没有准备好,那么赶紧整理实验室(你会惊讶地发现有多少实验室没有这样做)。另外,检查所有文件是否及为现行版本并得到批准,如果有任何未经批准或非正式的文件,确保将其从办公桌和办公室移走并销毁。实验室还可以在其他方面进行准备,例如,阅读当前的程序并确保培训记录是最新的,最好不是在审查开始的前一天才准备。
33.4.2定义系统范围
重要的是使审查或审计的范围正确,以避免漏掉任何在检查中可能很重要的东西或可能导致对系统生成的结果的数据完整性或质量产生质疑(例如未经验证或计算错误)。图33.2显示了一个网络CDS的例子,其中包括6个色谱仪、两个实验室数据系统和一个中央服务器上的数据库。数据直接获取到IT部门支持的中央服务器。此外,还有供分析人员设置仪器、积分色谱图和处理数据的工作站。
问题是,定期审查应该如何作用?从图33.2中可以看出,系统范围可以分为两部分。范围的广度可以是实验室系统的一部分,也可以是IT部门支持的部分。因此,审计的广度需要决定:仅仅是实验室,仅仅是它还是整个系统?另一方面,如果系统利用一个由实验室操作和维护的服务器,那么整个系统范围是实验室的责任。
但是,在考虑对系统的IT支持时,应该记住它将对许多GXP系统执行相同的操作。跨所有系统检查或审计这些功能比每次为每个GXP系统重复这些操作更有意义。例如,可以对所有GXP系统的用户帐户管理或备份和恢复操作、记录和过程进行审查,以节省对同一功能进行重复审查的时间和精力。如果采用这种方法,这样就可以把定期审查的重点缩小到主要是CDSD的实验室部分。
图33.2确定定期检查CDS的范围。
图33.2所示的CDS与其他系统没有接口。相反,如果CDS连接到一个或多个系统,则定期审查必须查看CDS与其他应用程序之间的数据流。审查人员需要确定其他系统的功能介入深度,以便进行审计,以确定所传输的数据是否准确、完整和正确。
下一阶段是我们需要确定范围的深度,并确定在多大程度上审查系统的仪器和软件方面。在图33.2的情况下,每台色谱仪都是合格的,其中3台与实验室数据服务器相连。审查是否采取单一色谱仪的样本和与其相连的实验室数据服务器比对的方式,还是三台色谱仪和数据服务器,还是全部仪器和数据服务器?这就是风险管理的用武之地。由于整个系统的架构是类似的,作为审计和审查的样本,只检查三种仪器和数据服务器可能是合适的。定期审查类似于审计,因为它是基于抽样记录。
但是,如果系统是基于CDS软件的单机版实例:一个重要的要求是显示每个单独的软件实例都被正确地配置了(例如,用户、访问特权和软件配置)。
因此,审查的深度取决于系统的技术方面:例如,多个软件配置的单机版软件安装与只有一个配置的客户端服务器架构。不要忘记数据处理工作站,这将是另一个需要考虑的独立安装和软件配置。
图33.2中没有显示的是系统是否安装了其他软件,例如验证和培训实例。如果存在这些情况,则定期审查可以检查这些实例,以确定它们是否正确安装并与操作系统等效。
33.4.3定期审查的类型
在确定了审计的广度和深度之后,我们现在必须决定如何进行审查。有三种基本方法可以进行定期审查或审计,如图33.3所示;这些是水平的、垂直的或对角的方法,现在我将更详细地解释它们。
●横向审计或审核。这是跨系统文档的宽度进行的,它试图覆盖所有的领域,但深度较低。如果没有足够的时间进行审查,或者以前没有对CDS进行过审查,则通常会进行该类审查。这类审查的目的是确保验证文档、操作控制过程、数据完整性特性已经到位,但是通常没有足够的时间深入研究各个领域如何集成在一起。请注意,如果在审查期间发现了问题,那么水平审计可以转变为垂直审计;并且需要对该问题进行更详细的调查。
●垂直审计或审核。与横向审计相比,纵向审计的视角非常狭窄,只选择一个或多个领域进行审查,但会进行大量的细节检查,比如是否遵循了控制程序,是否对员工进行了培训。垂直审查的一个例子是可以查看变更控制过程,并且对于特定系统的所有变更请求,可以比水平审查更加详细地进行审查。另一个例子是数据完整性审计或审查,其关注点是生成和积分的数据能够获得可报告的结果。
●对角线审计或评审。顾名思义,这是一个混合的横向和纵向审计。这样做的目的是确保所有主要的验证元素都已就绪,它们能够正确地运行,并且流程能够工作并集成在一起。如图33.3所示,可以对导致问题管理和变更控制的事件管理进行审查。如有需要,对可能需要更新URS及进行正式测试的变更进行确认。如您所见,对角审计比水平审计更彻底地检查系统。
图33.3审核或定期审查的类型。
在实践中,所有三种类型的审计都可以在定期审查期间有效地使用,这取决于有多少时间可用。
为了说明如何将水平审查转变为垂直审查,可以进行以下操作。在对CDS变更控制记录的横向审查期间,审查者可能要求从变更控制请求列表中随机选择三个变更请求;注意请求中的抽样过程。当检查并与程序进行比较时,三个请求中有两个没有遵循正确的程序。因此,评审员再找出三个请求,同样是由审查人随机选择的。检查时,两个符合SOP,一个不符合。因此,我们现在的情况是,已经审查了6个变更控制请求,一半符合流程,但更令人担忧的是,一半不符合。那么审查人应该怎么做呢?一种选择是离开变更控制过程并完成审计。第二步是深入挖掘变更控制请求和过程,以找出真实的情况,并将剩下的审计工作留到问题得到进一步的调查。由于变更控制是确保持续验证状态的重要机制,所以变更控制记录的深度挖掘应该优先于审计的其他部分。此外,考虑到可能存在一个与变更控制有关的系统问题,可能会影响实验室中的所有计算机化系统。因此,水平审查变成了垂直审计,以发现问题有多严重:自上次审查以来,它是一致的问题,还是直到最近才开始出现问题?
33.4.4计算机化系统是否有助于定期审查?
不。这是一个简单问答。让我们来探究一下为什么我们需要系统来帮助我们进行定期审查。大多数CDS的设计重点主要集中在为用户提供新功能,并纳入法规遵从性,这并不奇怪。受管制用户要求的审计跟踪。然而,由于我们正在向电子化工作和最少的纸上输出的方向发展,我们真的没有软件的功能来替代有效和高效的每天的复核人审查数据,以及定期审查或数据完整性审计。我们需要关注的是复核人检查的必要性,因为定期审查将使用相同的功能。复核人检查和定期审查都需要确保数据质量和完整性良好,没有受到损害。
当我们考虑混合系统时,我们的数据完整性问题就开始了,因为审计跟踪变得混乱,电子记录和相应的纸质打印输出之间的联系并不总是很明显。通常,审计跟踪不是很好,因为只有一个审计日志,很少或没有搜索功能。从本质上讲,审计跟踪通常包含大量条目:用户访问、用户访问失败、数据的添加、修改和删除、用户帐户管理和访问控制,等等。这些条目中有许多是常规事件,但是除非有一种简单而容易的方法来分隔不同的类型,否则审计跟踪可能是无用的。
同样,当系统基于电子化工作时,电子记录和电子签署的报告之间的连接通常更容易。然而,关键的需求是有效的审计跟踪,而事实可能并非如此。通常情况下,系统并不是设计为以电子方式工作的:对于满足业务流程可能很好,但是大多数系统的致命弱点是审计跟踪,因为这是确保数据完整性的关键。什么是必需的;可以由用户配置的数据筛选器,以识别何时将数据更改输入到审计跟踪中,从而允许有效的符合人复核,并由此进行定期审查。
33.4.5进行定期审查
您需要从您将在审计期间采访和讨论的人那里获得信息。所以最好的方法就是问一些开放性的问题(比如什么时候?谁?在哪里?如何?为什么?然后呢?)让人们说话。当然,接下来的问题会让你问:是否所有的定期审查人都来自密苏里州?由于开放式问题的答案通常会伴随着臭名昭著的“演示给我看”来验证所陈述的内容是否真的发生了,并且有文档证明可以证明这一点。为了验证所提供的信息,审查人应该使用答案为是或否的封闭式问题。另一种让审查人理解信息的技巧是问一些问题,比如“如果……会怎么样?”
表33.1中列出了进行定期审查的一些注意事项,其中许多是来自如何在定期审查期间正确管理人员。审查人员的角色之一可能是说服用户和IT人员改变他们的工作方式,如果观察到不兼容的实践,那么如果在进行审查时迁就他们,就无法做到及时纠正。
表33.1进行定期审查的注意事项。
  
较好的审计和定期审查实践
  
较差的审计和定期审查
•关注系统
  
•专注于操作
  
•与法规和程序进行比较
  
•陈述清楚问题
  
•谨慎地提出批评
•关注员工
  
•关注个人
  
•比较你自己的观点
  
•在细节上混淆问题
  
•在下属面前批评
33.4.6一图胜千言
在定期审查期间,数码相机非常有用,它可以提供支持性的照片证据来加强书面观察。例如,它可以记录一个不整洁或不安全的实验室,也可以避免“非官方”的纠正措施,如整理实验室,否认问题曾经存在审计后,但预报告。因此,如果审核员在审查报告中写道,用户名和密码是写在工作站前面板的。它有点枯燥,读者需要想象。但是,如果您拥有如图33.4所示的报告部分,则会带来更大的影响。此外,审查人可以让读者去想“那些白痴在想什么?”而不是让报告反复强调这一点。您将注意到图33.4中的照片没有时间和日期戳。这是经过深思熟虑的,因为它来自我所运行的审计课程,这是审计报告中的一个错误,与会者必须识别。
观察:用户名和密码被写在一个工作站的前面版,见下面的照片。
图33.4定期审查报告的照片证据观察。
33.4.7检查表是万金油?
检查表对审查人员有很多优点,但也有局限性。它应该是由适用的法规、药典总章、公司程序、监管和行业指南文件生成的。然而,由于规则在快速变化,检查表应该是一个动态的文档,并进行版本控制和标注日期,以确保审查员使用的是当前版本。因此,检查表的目的是确保所有定期审查和执行审查的评审人员之间的一致性——是否涵盖了审查的所有方面?从评论者的角度来看,检查表是帮助他们涵盖所有要点的辅助回忆录。
然后是检查表的缺点,评审员可能成为它的奴隶。想象,如果可以,现场定期检查期间,审查人问下面的“问题107:你有一个备份SOP…问题108:你保存一个日志备份执行…问题109:…。如果审查员逐字逐句地依照检查清单,这种情况是可能发生的。相反,检查表应该作为指南使用,如果结构正确,它将被分解成不同的主题领域,当它们放在一起时将涵盖所有适用的主题。当涉及到某个特定的主题时,审查人应该提出问题,并与相关人员进行讨论。审查者只需要参考检查表,以确保在转移到另一个主题之前,所有内容都已涵盖。
此外,审查者需要意识到,如果在审查中发现了重要的内容,可能需要进行更详细的调查。在这种情况下,可以扩大审查的一部分,而不包括其他部分。
33.4.8检查表的选择:更聪明地工作,而不是更努力地工作
我们已经看了检查表,但我们还需要考虑如何在整个定期审查过程中有效地使用它们。我们需要考虑如何将检查表与审查报告联系起来,而不是仅仅列出在审查过程中勾选出来的问题。确实,检查表可以作为审计报告的基础吗?答案是肯定的。一种方法如表33.2所示。在这里,左手栏是检查表问题,右手栏是写观察结果和任何发现或建议的空间。但是,您可以看到,只要稍加规划,检查清单和报告就可以轻松地集成在一起,并且检查清单将成为定期审查报告的基础。
表33.2综合检查表和定期审查报告的格式。
  
问题
  
观察和发现
1. 是否在批准的文档中定义了CDS的用户类型和相应的访问权限?
观察到的A
  
观察到的B
  
发现的1
2. 所有的CDS用户都有唯一的用户身份吗?
观察到的C
  
观察到的D
3.如何处理维护和检验色谱仪的服务工程师的账号?程序和相关记录在哪里?
观察到的E
  
观察到的F
  
观察到的G
33.5 CDS数据完整性审核
数据完整性审计可以是定期审查的一部分,也可以是单独的活动。如果是后者,则本章所述的原则仍然适用,例如,这是一个由有经验的个人进行的有计划的独立审计。然而,审计的重点是CDS中的数据及其完整性。
数据完整性审计的范围主要包括两个层次:系统和数据。在接下来的两个小节中,将更详细地讨论每个方面。
请注意,本节的重点是CDS,而没有考虑更广泛的分析程序的数据完整性问题,如采样、运输和存储以及样品制备以及相关的纸质或电子文件。这些方面应该包括在任何数据完整性审计的范围内。
33.5.1系统级数据完整性
在数据完整性审计深入到数据本身之前,需要评估CDS中建立的控制和支持IT基础设施。在高层次上,如图33.5所示。该图表示使业务流程自动化的CDS,并且CDS软件已配置为符合这些需求。在应用程序的底层,色谱文件和数据要么存储在数据库中,要么存储在操作系统的目录中。
图33.5还突出显示了在CDS领域,一些需要在系统级解决的问题,例如:
●通过回顾系统的最后一次验证来确认系统是否达到预期的使用目的。
检查自定义计算和报告是否得到了充分的指定和测试。对于自定义计算和计算的报告,请检查计算公式、数据输入和输出的定义和范围,以及应用于计算结果的有效数字取舍规则的正确性。
●确认软件的配置是否与已安装的相同,还是已经更改?如果应用程序的配置已经更改,变更申请在哪里以及何时得到授权?审计的这一部分还包括审计跟踪搜索,以查看日期和时间戳。目的是发现在变更请求被批准之前是否做了任何变更?
●用户帐户管理将被审查,以检查是否存在共享的用户身份,以及访问权限是否与个人的培训和工作描述适合。是否所有用户都具有相同的权限?实验室和IT之间是否存在管理功能的区分?
●检查是否有实验室用户可以访问应用程序外部的系统时钟、操作系统,并查看回收站中发现了哪些文件,以及这些文件是否会导致任何数据完整性问题。操作系统中存储的CDS文件和记录的保护机制是什么?
图33.5 CDS - 1的数据完整性审核。
注意,数据完整性审计与定期审查有一些重叠,因为要检查应用程序软件的验证和配置。然而,数据完整性审计的重点在于CDS的应用程序配置,以确保一旦建立的配置没有被更改,例如关闭审计跟踪,然后在几分钟后以未经授权的方式开启。进一步的问题可以在表33.3中看到,这是相对于图33.5的内容。
数据完整性审计的这一部分没有考虑IT支持,因为备份和恢复等功能以及用户帐户管理被认为是正常的定期审查过程所涵盖的。但是,如果在数据完整性审计期间发现了问题,那么审计人员可能会决定调查这些方面的原因。
表33.3 CDS-1的数据完整性审计问题
  
调查的领域
  
典型的需要问的问题
手动数据项到CDS
  
•根据附件11定义的关键数据【1】?
  
•检查手动输入的关键数据是否准确?
  
•如何检查手动输入的数据?
  
•数据是如何更正的,是否有相应的审计跟踪记录?
  
•外部记录和CDS之间的可追溯性是可呈现的
仪器日志簿
  
•条目匹配数据系统日期和时间戳?
  
•时间顺序合乎逻辑吗?
  
•是否对日志中的条目进行了更改而没有给出理由?
CDS的应用程序
  
•色谱数据文件有连续的日期和时间序列?
  
•在同一时期的注释或审计跟踪记录中,是否存在顺序上的差异?
  
•记录保护:
  
数据库和目录树格式吗?
  
本地存储还是网络存储?
  
•使用的报告工具:
  
自定义计算和报告适当指定,是否已创建和测试?
纸打印输出
  
•下面的电子记录是否有签名链接:
  
纸打印出来吗?
  
电子签名的报告?
33.5.2数据层面的数据完整性审核
如果可以确保系统级数据的完整性,则可以开始更详细的数据完整性审计。这部分审计的目的有两方面:
1. 确认已遵守正确的数据采集、处理和报告程序,数据是安全的和完整的。这包括测试执行者和审查员所做的工作。
2. 确认未发生未经授权的数据操作和/或弄虚作假行为,例如将数据积分/整合到合规状态,删除数据。
图33.6显示了一个CDS中的详细流程流,其中显示了创建的电子记录,以及审核员可以提出的问题。更详细的问题见表33.4,反映了图33.6的内容。
数据完整性审计的这一部分需要查看分析运行,并评估数据是否已被正确地获取、处理、积分和报告。如果有任何问题(例如仪器故障等)在仪器日志和CDS中有相应的记录来证明中止运行是合理的。类似地,如果数据不符合标准或趋势,将对此进行调查,并在需要时采取纠正和/或预防措施。
33.5.3数据完整性和CDS接口
最后两部分只讨论了没有与其他应用程序连接的网络CDS。在这里,我们考虑关于CDS和另一个实验室信息学解决方案(可能是LIMS或ELN)之间的接口的数据完整性问题。如果CDS是数据发送方,而LIMS是数据接收方,那么我们需要审计表33.5中列出的以下项目。
重要的是要认识到,CDS和另一个实验室信息学解决方案之间的接口只是分析过程的扩展,从样本到报告或样本到决策。虽然主要的数据完整性问题如表33.5所示,但需要详细考虑的要点如下:
●数据是如何传输的,数据传输的安全性如何?
●从CDS导出的结果是否有足够的元数据以允许LIMS将结果放在数据库中的正确位置?
●两个系统中的日期和时间格式相同吗?如果没有,如何转换格式以确保兼容性?
图33.6 CDS - 2的数据完整性审核。
表33.4 CDS - 2的数据完整性审计问题。
  
调查的领域
  
典型的需要问的问题
序列文件
  
•将实验室的CDS记录与外部记录进行比较
  
•样本身份输入正确并匹配外部记录?
  
审核过程中记录的任何变更是否合理?
  
•正确输入样本重量、因子、稀释倍数?
  
审核过程中记录的任何变更是否合理?
数据采集和仪表控制
  
•按照程序要求正确使用仪器?
  
仪器确认状态?
  
•色谱柱正确使用?
  
色谱柱日志更新相应的条目到CDS?
  
正确的采集和仪器方法的使用?
  
•在项目或目录中正确存储的数据?
  
•系统评估进样以检查系统OK?
  
•在整个运行过程中已注入系统适应性样本?
  
•SST在限度内?
  
•SST超限已进行偏差记录和调查?
  
•运行中止有正当理由?
  
•仪器日志与色谱运行匹配?
  
•数据存储在错误的项目或目录?
色谱积分
  
•是否优先采用自动积分?
  
•进行人工干预?
  
是否符合积分SOP?
  
标准和样品以同样的方式积分?
  
•执行了手动积分?
  
是否符合积分SOP?
  
•选择性报告结果?
自定义计算和可报告结果
  
•使用了正确的计算方法?
  
•所有数据均已报告?
  
•用于评估的进样报告了?
  
•SST进样报告了?
  
•不符合标准/趋势/预期结果的记录和调查?
审计跟踪条目
  
•可接受的分析运行的审计跟踪记录?
  
•一次样品注射积分了多少次-这是合理的和允许的吗?
  
•如果系统允许,是否删除了任何数据?
●CDS和LIMS中是否分别有外传数据和接收数据的审计跟踪记录?在审计时,这两个时间是否重合,还是进出口之间存在较长的时间差距?尤其是通过文件进行传输时,如何协调这种差异?
表33.5假设数据从CDS发送到LIMS,为了审计反向传输,只需将表中的问题反向,LIMS将是出口方,而CDS将是进口方。同样的问题也适用于评估数据的完整性。
表33.5连接到LIMS的CDS数据完整性注意事项。
  
调查的领域
  
典型的需要问的问题
CDS-数据发送方
  
•要传输的数据:
  
格式正确吗?
  
数据包大小吗?
  
•单个值还是值加上上下文元数据?
  
•怎样被接收系统证实接收?
  
•数据导出的审核跟踪方法?
  
•传输数据的日期和时间格式?
数据传输机制
  
•转移机制:
  
直接传输吗?
  
解析目录中的文件?如果是,有什么安全措施?
  
Excel / csv文件吗?
  
文本文件?
  
数据库的考量?
  
•用于数据传输的系统之间的映射?
  
•数据丢失或数据损坏检测?
  
•互联网或内部网转移?
  
•加密的数据还是检查汇总?
  
•数据文件格式的改变
LIMS-数据接收方
  
•接收数据-在接收系统中正确存储?
  
•数据兼容性?
  
•数据格式不变?
  
•数据被截断或更改?
  
•发送系统的确认?
  
•从哪个系统导入数据的审核跟踪?
  
•日期和时间格式相同吗?
33.5.4报告审查情况
与定期审查类似,数据完整性审计应该有一个报告来记录所审查和调查的内容。这将遵循与第33.4.8节所述相同的原则,或根据组织的要求使用不同的报告模板。
参考文献:
1. EU GMP Annex 11 Computerised Systems,European Commission, Brussels,2011.
2. Computerised Systems in GXP Environments(PI-011-3), Pharmaceutical Inspection Convention/Scheme (PIC/S), Geneva, 2007.
3. ICH Q7-Basic Requirements for ActiveSubstances used as Starting Materials,International Conference onHarmonisation, Geneva, 2000.
4. WHO Technical Report Series No.996 Annex5 Guidnce on Good Data and Records Management Practices, World HealthOrganisation, Geneva, 2016.
5. Compliance Policy Guide Sec. 130.300 FDAAccess to Results of Quality Assurance Program Audits and Inspections,available from:
http://www.fda.gov/ICECI/ComplianceManuals/CompliancePolicyGuidanceManual/ucm073841.htm,2007.
6. EU GMP Chapter 9 Self Inspection,European Commission, Brussles, 2001.
7. FDA Guidance for Industry: ComputerisedSystems in Clinical Investigations,Food and Drug Administration, Rockville, MD,2007.
8. Good Automated Manufacturing Practice(GAMP) Guide Version 5, International Society for Pharmaceutical Engineering,Tampa, FL, 2008.
9. GAMP Good Pracice Guide A Risk BasedApproach to GXP Compliant Laboratory Computerised Systems, InternationalSociety for Pharmaceutical Engineering, Tampa, FL, 2nd edn, 2012.
10. B. S. Jenkins, United States of Americaversus Utah Medical Products Inc:, in Case number 2: 04-CV-733 BSJ, UnitedStates Curcuit for the District of Utah, 2005.

【CSV-CDS:第1章】 如何使用这本书 https://www.ouryao.com/thread-546279-1-1.html
【第二章 CDS的过去、现在和未来】  地址: https://www.ouryao.com/thread-524134-1-1.html
三章  实验室信息学和CDS的作用 https://www.ouryao.com/thread-524262-1-1.html
数据系统的验证:第四章(2)】  https://www.ouryao.com/thread-524408-1-1.html
色谱数据系统的验证:第四章(3)】  https://www.ouryao.com/thread-524447-1-1.html
【色谱数据系统的验证】:第四章(4)   https://www.ouryao.com/thread-524569-1-1.html
【色谱数据系统的验证:第5章(1)】计算机化系统验证的概念   https://www.ouryao.com/thread-525475-1-1.html
【色谱数据系统的验证:第5章(2)】计算机化系统验证的概念  https://www.ouryao.com/thread-525871-1-1.html
色谱数据系统的验证:第6章(1)】了解软件类别和系统生命周期 https://www.ouryao.com/thread-526089-1-1.html
【色谱数据系统的验证:第6章(2)】了解软件类别和系统生命周期  https://www.ouryao.com/thread-526197-1-1.html
【色谱数据系统的验证:第6章(3)】了解软件类别和系统生命周期 https://www.ouryao.com/thread-526261-1-1.html
【色谱数据系统的验证:第7章-1】 确保色谱数据系统的数据完整性 https://www.ouryao.com/thread-526702-1-1.html
【色谱数据系统的验证:第7章-2】 确保色谱数据系统的数据完整性  https://www.ouryao.com/thread-526806-1-1.html
【色谱数据系统的验证:第7章-3】 确保色谱数据系统的数据完整性    https://www.ouryao.com/thread-526933-1-1.html
色谱数据系统的验证:第7章-4】 确保色谱数据系统的数据完整性    https://www.ouryao.com/thread-527047-1-1.html
色谱数据系统的验证:第7章-5】 确保色谱数据系统的数据完整性    https://www.ouryao.com/thread-527129-1-1.html
【色谱数据系统的验证:第8章】CDS验证:管理系统风险      https://www.ouryao.com/thread-527511-1-1.html
【色谱数据系统的验证:第9章】电子化工作和使用电子签名   https://www.ouryao.com/thread-528611-1-1.html
【色谱数据系统的验证:第10章】编写URS  https://www.ouryao.com/thread-529331-1-1.html
【色谱数据系统的验证:第11章】 验证控制    https://www.ouryao.com/thread-529934-1-1.html
【色谱数据系统的验证:第12章】 系统选型           https://www.ouryao.com/thread-530889-1-1.html
【色谱数据系统的验证:第13章】评估CDS供应商  https://www.ouryao.com/thread-531114-1-1.html
【色谱数据系统的验证:第14章】 合同谈判和系统采购  https://www.ouryao.com/thread-531663-1-1.html
【色谱数据系统的验证:第15章】规划系统的安装  https://www.ouryao.com/thread-531732-1-1.html      这章内容太少,偷偷发布的:)
【CSV-CDS:第16章】需求级别的CSV-CDS风险管理 https://www.ouryao.com/thread-531770-1-1.html
【CSV-CDS:第17章】 可跟踪性矩阵的重要性  https://www.ouryao.com/thread-532241-1-1.html
【CSV-CDS:第18章】 编写配置规范    https://www.ouryao.com/thread-532346-1-1.html
【CSV-CDS:第19章】编写技术规范   https://www.ouryao.com/thread-533651-1-1.html
【CSV-CDS:第20章】安装和集成系统组件  https://www.ouryao.com/thread-533652-1-1.html
【CSV-CDS:第21章】设计用户验收测试套件 https://www.ouryao.com/thread-538285-1-1.html
【CSV-CDS:第22章】编写测试脚本和测试用例(1) https://www.ouryao.com/thread-540299-1-1.html
【CSV-CDS:第22章】编写测试脚本和测试用例(2) https://www.ouryao.com/thread-543408-1-1.html
【CSV-CDS:第23章】执行测试脚本并报告结果  https://www.ouryao.com/thread-546271-1-1.html
【CSV-CDS:第24、25章】用户培训和系统文档、 IT对CDS的支持  https://www.ouryao.com/thread-560938-1-1.html
【CSV-CDS:第26章】 系统描述    (提前发布) https://www.ouryao.com/thread-532065-1-1.html
【CSV-CDS:第27章】为CDS定义电子记录和原始数据https://www.ouryao.com/thread-579827-1-1.html
【CSV-CDS:第28章】撰写验证总结报告    https://www.ouryao.com/thread-591353-1-1.html
【色谱数据系统的验证:第29章】 在受监管的环境中积分提前发布)   https://www.ouryao.com/thread-524853-1-1.html
【色谱数据系统的验证:第30章】用户账户管理提前发布)   https://www.ouryao.com/thread-526620-1-1.html
【CSV-CDS:第31-32章】事件/问题、变更/配置 双尾  https://www.ouryao.com/thread-615793-1-1.html
33瓦忘了,本次补上。@快活王
【CSV-CDS:第34章】CDS记录的保存   https://www.ouryao.com/thread-616084-1-1.html
也许,您的一个专业度或者一个回复或者一个建议/意见,就能让我温暖。
                                                                                    下边 ↓↓↓药学专业认可  ↓↓↓。

回复

使用道具 举报

药生
发表于 2020-6-28 22:51:57 | 显示全部楼层
谢谢分享

点评

神啊,祝福我吧,让我明天月票第一  详情 回复 发表于 2020-6-28 22:55
神啊,祝福我吧,让我明天月票第一  详情 回复 发表于 2020-6-28 22:54
神啊,祝福我吧,让我明天月票第一  详情 回复 发表于 2020-6-28 22:54
回复 支持 反对

使用道具 举报

大师
 楼主| 发表于 2020-6-28 22:54:49 | 显示全部楼层

神啊,祝福我吧,让我明天月票第一
回复 支持 反对

使用道具 举报

大师
 楼主| 发表于 2020-6-28 22:54:54 | 显示全部楼层

神啊,祝福我吧,让我明天月票第一
回复 支持 反对

使用道具 举报

大师
 楼主| 发表于 2020-6-28 22:55:01 | 显示全部楼层

神啊,祝福我吧,让我明天月票第一
回复 支持 反对

使用道具 举报

药师
发表于 2020-6-29 08:34:59 | 显示全部楼层
你啥时候更新完啊,一次打包发了,一贴一贴   看着累

点评

我看行,不过真舍不得我那112个图和101个表格 等我有空哈  详情 回复 发表于 2020-6-30 21:19
回复 支持 反对

使用道具 举报

药徒
发表于 2020-6-29 08:35:30 | 显示全部楼层
已经点赞啦,哈哈
回复 支持 反对

使用道具 举报

药徒
发表于 2020-6-29 08:41:54 | 显示全部楼层
谢谢分享。
回复 支持 反对

使用道具 举报

药徒
发表于 2020-6-29 13:59:19 | 显示全部楼层
谢谢分享!
回复 支持 反对

使用道具 举报

大师
 楼主| 发表于 2020-6-30 21:19:56 | 显示全部楼层
915_雨 发表于 2020-6-29 08:34
你啥时候更新完啊,一次打包发了,一贴一贴   看着累

我看行,不过真舍不得我那112个图和101个表格  等我有空哈

点评

书是拿来看的,不是拿来供着或藏着  详情 回复 发表于 2020-6-30 21:38
回复 支持 反对

使用道具 举报

药师
发表于 2020-6-30 21:38:25 来自手机 | 显示全部楼层
歪把子 发表于 2020-06-30 21:19
我看行,不过真舍不得我那112个图和101个表格  等我有空哈

书是拿来看的,不是拿来供着或藏着

点评

坏蛋,你等明天早上的。有弹。 话说要有小册子你看啊?400多页。单章的你还嫌麻烦呢  详情 回复 发表于 2020-6-30 21:49
回复 支持 反对

使用道具 举报

大师
 楼主| 发表于 2020-6-30 21:49:08 | 显示全部楼层
915_雨 发表于 2020-6-30 21:38
书是拿来看的,不是拿来供着或藏着

坏蛋,你等明天早上的。有弹。  话说要有小册子你看啊?400多页。单章的你还嫌麻烦呢
回复 支持 反对

使用道具 举报

发表于 2020-7-2 08:31:32 | 显示全部楼层
学习一下。还不是很会查呢。
回复 支持 反对

使用道具 举报

药徒
发表于 2020-7-4 14:15:24 | 显示全部楼层
太难了!!!不看
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

×友情提示
1、无权下载附件会员可能原因:1.“待验证用户组“,请点击注册邮箱里面收到的确认邮件即可; 2.作者设定权限的,提高用户组级别即可
2、对本站的任何疑问或合作需求,请联系微信tank066,关于怎样提高用户组/积分:https://www.ouryao.com/thread-6764-1-1.html
3、注册用户在本社区发表、转载的任何作品仅代表其个人观点,不代表本社区认同其观点。
4、如果存在违反国家相关法律、法规、条例的行为,我们有权在不经作者准许的情况下删除其在本论坛所发表的文章。
5、所有网友不要盗用有明确版权要求的作品,转贴请注明来源,否则文责自负。

QQ|小黑屋|手机版|蒲公英|ouryao|蒲公英 ( (京)-非经营性-2014-0058 京ICP备14042168号 京ICP证150354号 )

GMT+8, 2020-7-15 03:24 , Processed in 0.108555 second(s), 59 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表