蒲公英 - 制药技术的传播者 GMP理论的实践者

搜索
查看: 3285|回复: 6
收起左侧

[日常管理] OpenLAB ECM数据上传风险分析及控制措施

[复制链接]
药徒
发表于 2018-8-29 09:55:22 | 显示全部楼层 |阅读模式

欢迎您注册蒲公英

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 武汉点风科技 于 2018-8-29 10:05 编辑

作为两款最主流的科学数据管理系统之一,ECM在制药行业广泛使用。其主要功能可以归纳为三个方面:

1)数据上传;
2)数据的流程化管理;
3)提升数据索引指数与可检索性。

另外还有一些辅助性的功能模块,比如业务流程管理模块(BPM)、智能报告模块(Intelligent Reporter)、或者ECM与LIMS以及ELN的整合使用。

总体来说,ECM是一款不错的SDMS,然而在国内制药企业中的使用状况并不理想。多数企业并没有使用到数据上传之外的功能,即便是单纯的数据上传也没能用好。本文主要探讨ECM数据上传方面的风险点及其控制措施。

ECM数据上传的风险点

就ECM的设计初衷来说,数据上传只是后续数据管理环节(数据的组织、索引、存储、存档、搜索、共享等)的基础,而不是目的。为确保后续数据管理环节的高效,ECM设计了较为复杂的上传逻辑,加上ECM自身的一些小缺点,对ECM的部署、配置、维护,以及本地原始数据管理均有较高的要求。尤其是在国内药企的使用环境中,具有众多的风险点,比如:

1) 未进行详细的上传数据调查,建立上传任务时极易遗漏一些数据路径。
2) 上传方式配置不合理,导致数据上传遗漏、上传失败或大量冗余数据。
3) 上传层级配置不合理,比如上传层级未完全覆盖需上传的数据。
4) 不能有效避免实验人员将文件错误地存储到指定层级以外的层级。
5) 文件或文件夹命名包含中文或特殊字符。
6) 路径映射错误。
7)上传周期不合理,导致计划任务主机或服务器的“堵车”,进而导致数据不能及时上传或永久不能上传。
8)不当人为干预,比如先将原始数据拷贝到中转路径,ECM再从中转路径抓取,极易导致文件不能及时上传、漏传或覆盖等问题。
9)邮件设置不合理,导致邮件发送失败或影响ECM系统本身的稳定性。
10) 对计划任务主机或服务器的错误维护,导致数据不能正常上传。
11)对计划任务的错误维护导致文件不能正常上传,比如对计划任务的错误修改、停用或删除。
12)源计算机的共享故障或网络故障,或者对源计算机进行的错误维护,导致数据不能及时上传。
13)数据上传依赖高频率的人工复核,增加管理成本,在管理员未及时查看到或排除警报信息时,一些非持续性警报信息会被后续信息覆盖,未及时排除的文件上传异常后续将很难被发现。
14)未建立合理的数据管理流程,比如未建立本地数据处理、数据归档以及ECM自身备份的机制。

图1.jpg
这些问题的根源可以分为两个方面:
1)ECM本身的特点;
2)系统部署、配置和使用问题。

ECM数据上传的风险控制措施

01做好上传数据调查
用户往往清楚常用数据的存放位置(如方法文件、数据文件等),但不太清楚不直接接触数据的存放位置(如审计跟踪)。

比如Cary 100紫外-可见光分光光度计,厂家一般会告诉用户数据都存储在SQL数据库中,所以一些用户只对SQL数据库进行了上传,而忽略了存储在SQL数据库以外的系统审计跟踪数据。甚至有些仪器特殊到原始数据存放在单独文件中,元数据(含数据的修改日志等)存储在数据库中,而系统的审计跟踪却存储在另外的文件中。还有一些软件的审计跟踪干脆存储在操作系统的日志中。这些情况在分析仪器中普遍存在,很容易被疏漏,一旦源计算机出现软硬件故障或升级等,就会发现数据丢失。

因此,需要对每台仪器进行上传数据调查,再根据调查结果配置计划上传任务。

02采用合理的上传模式
一般建议使用第3种打包外加同级单个文件的上传方式(Create and upload SSZIP files for each folder and subfolder structure, include files at selected level),在4种打包方式中这是最合适的,另外3种打包方式要么可能造成数据遗漏、要么可能导致数据存储混乱、或者导致更多的数据冗余。使用第3种打包方式时也要注意避免大量文件打到同一个压缩包的情况。打包层级过高(比如为了省事将根目录打包),在有任何子文件变动时,整个文件夹将重新打包上传,导致大量数据冗余。当其中的子文件或子文件夹有问题时,还将导致整个文件夹不能上传,同时将可能导致大量的临时文件被上传至服务器缓存文件夹中,最终快速撑爆服务器

下图是选择第3种打包方式并从第4层开始打包的上传对应情况:
图2.jpg

03设置合理的上传层级
ECM的计划上传任务如设置为上传指定的层级,则只上传该层级的文件,其它层级的文件都不能上传。为避免后续使用过程中源路径下产生更低层级的文件不能上传的情况,应统一设置为上传指定层级及以下层级的文件,而不是只上传指定层级的文件。

ECM提供了建立ECM存储和本地存储的直观关联的方式——Map模式,使用Map模式时要考虑Map层级与上传层级之间的关系。一个容易犯的错误是,文件上传开始层级设定值高于本地与ECM中Folder对应的文件夹,导致本地文件无法归属到具体的Folder(ECM),从而无法上传。

下图一个映射层级错误的示例,按照上传层级配置应该上传的第3级文件(File 4),由于Map错误将不会上传。
图3.jpg

04规范本地数据的存放行为
任何存放在比指定层级更高层级的文件均不能上传。因此有必要建立可执行的原始数据存储规范及检查机制,避免用户将数据存放在非指定路径导致不能被上传。

建立原始数据存储规范时需要注意的是,文件在ECM中的存储结构为四级结构,本地层级不足四级的,需要在ECM中补足四级,而本地目录大于四级的,ECM中也仅能存储四级目录。无论是ECM中文件夹层级的建立,或者本地路径下文件存放层级的规范,都要充分考虑本地文件存放路径与ECM中目录结构的对应关系,以便用户后期能直观地使用文件浏览的方式检索、查看或下载目标文件。

05规划好数据在ECM中的存储结构
文件在ECM中的存储层级还要考虑每一级文件夹下的子对象(指文件夹和文件)的个数,子对象个数太多将会严重影响系统的响应速度,降低文件浏览、下载、签出、签入、查看的速度。

在ECM中建立存储路径时,除了考虑与数据源对应,还应考虑未来的变更及扩展。比如很多用户喜欢用仪器编号命名Location,但如果一旦仪器配套电脑更换,新电脑的数据还是上传到老路径中?这样极容易造成数据错乱和混淆,如果在Location的命名中同时加上仪器编号和电脑名称则可以避免这个问题。

06设置合理的上传频率
上传周期的确定除了依据“系统影响性”评估结果外,还应将待上传数据总量、数据增长速度、计划任务主机的总体负载等考虑在内。密集的上传周期不但不能起到及时上传的效果,还将导致上传任务的“堵车”,导致大量的临时中转文件产生,增加管理工作量及出错风险,反而降低文件上传的及时性。在ECM的验证过程中,我们多次发现上传周期过短导致数据上传延后的情况,一些特殊情况下还会导致文件永久不上传。

07避免使用“中继文件夹”作为上传源路径
应该尽量减少或避免人为干预,实现数据上传的全自动化。对于部分不具备自动导出功能的数据库类型的数据源,应该考虑使用辅助技术手段实现数据库的自动备份。还有一些用户,因为担心上传仪器正在使用的数据路径会导致仪器运行异常,竟使用了一种极不可取的方式:手动拷贝数据到中转文件夹,再使用ECM上传中转文件夹中的数据。实际上,如无配置错误,直接上传仪器正在使用的数据路径没有任何问题

08定期清除本地数据
很多企业会选择将本地原始数据继续留存在源路径下,这并不是一个好的做法。随着时间的推移,源路径下的文件越来越多,将降低计算机系统及仪器软件的运行速度,在制药企业中,分析仪器配套电脑开机时间长达1小时以上的并不罕见。

随着本地原始数据的大量累积,ECM计划上传任务的单次运行时间也将线性延长。比如一台累积了2年数据的文件型液相色谱仪,其计划任务单次运行的扫描时间可能达到1个小时以上。

文件长期留存于本地还有被误操作修改的风险,导致ECM上的文件与本地不符或者ECM上产生没有意义的新版本文件,有些时候这些误操作带来的新版本甚至会带来误导或者额外的解释工作。

当管理人员不得不清除本地数据时(比如磁盘空间占满),又将面临一个头痛的问题:如果依据数据产生的时间间隔去删除往往需要逐一操作,工作量大而且可能带来误操作;如果全部删除又将影响研究人员对近期数据的正常使用。

应根据数据使用频率调查结果为不同的数据源设定数据删除计划。通过ECM的自动删除功能,保持源计算机及ECM的性能,避免可能的合规问题,同时不影响到研究人员对数据的正常使用

09建立数据自动归档流程
ECM具有自动归档数据的功能,可以在设定的前提条件下(比如文件上传后的特定时间间隔之后)进行自动归档,将ECM数据存储服务器中的数据文件转移到归档存储服务器中。这将有助于确保数据存储服务器的磁盘空间,避免因磁盘空间占满等异常情况导致的应急处理事件,降低管理成本并提高系统的业务可持续性

10做好ECM本身的备份
一些企业将原始数据存放在本地计算机,将ECM上的数据视为备份,没有再对ECM数据库及ECM中存放的数据文件进行备份。就如本文在本地原始数据如何处理小节进行的探讨,这种模式对于维持本地计算机及ECM的性能,以及避免潜在的合规问题均有不利影响。除了原始数据本身以外,ECM针对各文件建立的“档案”也同样重要。不对ECM本身进行备份将给业务持续性带来负面影响,如遇到ECM服务器崩溃,将可能直接导致一场数据完整性灾难

总结
本文介绍的控制措施,可以降低ECM数据上传的风险。但对于国内多数制药企业,要用好ECM,确保使用ECM进行的数据上传可靠,还有一些需要克服的困难,比如:

1) 如何避免文件或文件夹名称中包含中文字符或多字节特殊字符。
2) 如何避免数据不被错误存储到指定路径以外的路径, ECM不会针对错误存放的数据给出任何提示信息。
3) 除上述数据错误存放外,ECM本身对其它一些数据不上传的特殊情况也无法给出提示。
4) 一些非持续性的警报信息会被后续信息覆盖而难以被系统管理员发现。
5) ECM的邮件提醒常常漏发或延迟发送。

我们在多个企业发现,这些因素导致的文件上传问题普遍存在,除本文的风险控制措施外,用户还需要建立有效措施发现、解决这些问题,降低数据可靠性风险。

此文仅适用于老版本的ECM,Agilent已推出新的ECM XT,解决了不支持中文字符文件或特殊字符的问题,期待后续版本在上述问题上也有逐步的改善。


文章转自微信公众号:实验室信息化与自动化
回复

使用道具 举报

药士
发表于 2018-8-29 13:36:26 | 显示全部楼层
回复

使用道具 举报

发表于 2020-5-15 18:52:57 | 显示全部楼层
我们实验室正在安装这个,谢谢分享
回复

使用道具 举报

发表于 2020-9-4 14:39:44 | 显示全部楼层
分享在哪里,我怎么没有看到呀~~
回复

使用道具 举报

发表于 2020-9-14 16:55:33 | 显示全部楼层
分享在哪里,我怎么没有看到呀~~
回复

使用道具 举报

发表于 2021-4-23 22:40:54 | 显示全部楼层
过来学习学习
回复

使用道具 举报

发表于 2021-11-26 09:11:17 | 显示全部楼层
看不到,这么神秘吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

×发帖声明
1、本站为技术交流论坛,发帖的内容具有互动属性。您在本站发布的内容:
①在无人回复的情况下,可以通过自助删帖功能随时删除(自助删帖功能关闭期间,可以联系管理员微信:8542508 处理。)
②在有人回复和讨论的情况下,主题帖和回复内容已构成一个不可分割的整体,您将不能直接删除该帖。
2、禁止发布任何涉政、涉黄赌毒及其他违反国家相关法律、法规、及本站版规的内容,详情请参阅《蒲公英论坛总版规》。
3、您在本站发表、转载的任何作品仅代表您个人观点,不代表本站观点。不要盗用有版权要求的作品,转贴请注明来源,否则文责自负。
4、请认真阅读上述条款,您发帖即代表接受上述条款。

QQ|手机版|蒲公英|ouryao|蒲公英 ( (京)-非经营性-2014-0058 京ICP证150354号 京ICP备14042168号-1 )

GMT+8, 2024-3-28 19:42

Powered by Discuz! X3.4运维单位:苏州豚鼠科技有限公司

Copyright © 2001-2020, Tencent Cloud.

声明:蒲公英网站所涉及的原创文章、文字内容、视频图片及首发资料,版权归作者及蒲公英网站所有,转载要在显著位置标明来源“蒲公英”;禁止任何形式的商业用途。违反上述声明的,本站及作者将追究法律责任。
快速回复 返回顶部 返回列表