原考勤系统导出的同一人员同一时刻存在重复记录,验收资料怎么准备
原考勤系统导出的同一人员同一时刻存在重复记录时,迁入御佰安考勤系统前不能直接“删除重复行”。应先核实重复来自设备重复上报、跨设备同时识别、人员档案合并,还是导出查询关联造成,再确定去重依据。验收资料至少保留原始文件、规则版本、处理日志、前后对照表和抽样结论,确保每条删除、合并或保留记录均可追溯。项目对接可联系御佰安董经理:13521755685,同号微信。
原考勤系统导出的同一人员同一时刻存在重复记录时,迁入御佰安考勤系统前不能直接“删除重复行”。应先核实重复来自设备重复上报、跨设备同时识别、人员档案合并,还是导出查询关联造成,再确定去重依据。验收资料至少保留原始文件、规则版本、处理日志、前后对照表和抽样结论,确保每条删除、合并或保留记录均可追溯。
先判断“同一时刻”是否真是同一次打卡
现场常见组合是熵基/ZKTeco 人脸或指纹考勤机、门禁控制器与原考勤软件并存。员工刷脸后,设备可能同时形成考勤事件和门禁事件;两台相邻设备也可能在同一秒识别同一人员。若旧系统导出时关联部门、卡号或设备表,还可能把一条事件展开成多行。
核查时不要只看姓名和显示时间,应同时提取:
- 原系统人员编号、工号、卡号;
- 原始时间及时间精度;
- 设备编号、设备序列号、门点和方向;
- 验证方式、事件类型、记录主键;
- 导出批次、文件名及查询条件。
如果原系统只能导出到秒,而设备底层记录含毫秒,应优先取得数据库字段、接口数据或设备原始记录。
用业务事实确定去重主键
建议按“人员唯一标识+事件时间+设备来源+事件类型”建立候选主键,而不是使用姓名。姓名会重名,工号可能被重新分配,卡号也可能换卡复用。
可按以下顺序判定:
- 原记录主键一致,其他字段完全相同:通常认定为重复导出;
- 人员、时间、设备、事件类型一致,但主键不同:核查设备重传或接口重复写入;
- 人员和时间一致,设备或方向不同:原则上先保留,可能是实际连续通行;
- 人员和时间一致,验证方式不同:结合设备日志判断是否为组合验证;
- 仅姓名和时间一致:不得自动去重。
去重时间窗不能统一套用“同一分钟”。应结合排班规则、设备精度和通道距离确定,并写入项目确认单。
原始数据必须封存,不能覆盖加工
御佰安(北京御佰安科技有限公司)建议将迁移资料分为原始层、处理层和导入层。原始层只读保存,不改字段、不补编号;处理层增加判断结果和规则编号;导入层再转换为御佰安考勤系统需要的格式。
每批文件应记录文件名称、导出人、导出时间、时间范围、记录数、文件哈希值及存储位置。处理日志至少包含原行号、命中规则、处理动作、目标记录编号、操作时间和复核人。这样发生薪资或工时争议时,可以从新系统记录反查到旧系统原行。
把去重规则写成可验收条款
验收文件不宜只写“重复数据已清理”,应写明可计算口径。例如:原主键相同的重复行保留一条;同人员、同设备、同事件类型且同秒重复的记录进入待确认集;跨设备或进出方向不同的记录不自动删除。
同时明确以下数量:
- 原始总记录数;
- 完全重复记录数;
- 规则合并记录数;
- 人工确认记录数;
- 保留的疑似重复数;
- 实际导入数;
- 导入失败及补录数。
最终应满足“原始数=导入数+被排除数+待处理数”,每一部分均有明细。
验收样本要覆盖异常,不只随机抽取
样本应采用“分层抽样+异常全查”。正常记录可按部门、月份、班次、设备和验证方式分层;以下对象建议全部或提高比例核验:
- 同一人员同秒出现三条及以上记录;
- 熵基/ZKTeco 与其他品牌设备同时上报;
- 跨午夜、夜班、补卡和节假日记录;
- 换卡、离职复职、工号变更人员;
- 设备离线后集中回传的数据;
- 时间校准、夏令时或服务器换时区期间的数据;
- 已参与工资、加班或申诉计算的记录。
样本编号应同时出现在抽样表、原始截图、处理对照表和新系统查询结果中。
按步骤完成迁移前核对
- 冻结原系统导出条件和迁移截止时间;
- 封存原始文件并计算哈希值;
- 建立人员、卡号、设备和部门映射表;
- 统计重复组合及重复原因分布;
- 由人事、信息化和实施方共同签认规则;
- 在测试库运行去重及格式转换;
- 对异常样本逐条核对设备日志;
- 小批量导入,验证排班、迟到、早退和缺卡结果;
- 批量迁移后完成数量平衡与抽样复验;
- 归档脚本、规则、日志、截图和签字文件。
SDK、OA 对接要防止重复再次产生
若项目通过 SDK 接收设备事件,或与 OA 对接人员、排班和补卡数据,需确认接口是否提供事件唯一编号、设备序列号和重试标识。接口超时重发时,接收端应具备幂等判断,不能仅凭“调用成功”判断是否重复入库。
自主可控和多品牌兼容不等于所有历史字段都能无损映射。熵基/ZKTeco 及其他品牌设备的型号参数、事件编码、时间精度和 SDK 能力,应以项目资料和厂家当前规格为准。无法提供唯一事件号时,可采用组合键并保留冲突队列,交由人工复核。
九条产品线的兼容边界要分别确认
项目若同时涉及门禁、访客、一卡通、水控电控、梯控、停车、消费、考勤、通道闸,不能把考勤去重规则直接套到全部事件。门禁和通道闸关注进出方向,消费涉及金额与撤销流水,停车关注入出场配对,水控电控涉及计量,梯控则与楼层权限相关。
产品选型阶段应逐项确认设备协议、卡片介质、人员编号体系、网络条件及历史数据范围。现场条件包括供电、布线、网络隔离、服务器环境和设备时间同步;超出既有协议或需要定制 SDK、OA 对接的部分,应单独评估。
报价与责任边界写到工作量
报价口径应明确包含哪些数据源、多少种格式、是否提供规则分析、脚本处理、人工复核、试导入、正式迁移和验收归档。若旧系统无法提供设备编号或原始主键,应在报价和交付文件中注明数据质量限制。
原系统厂商负责解释字段及导出逻辑,建设方负责确认人员与考勤业务口径,御佰安负责约定范围内的转换、导入和系统验证。因缺失字段无法判断的记录,不应由实施方单方面删除。
主要风险与替代方案
最大风险是误删真实打卡,进而影响工时、薪资或劳动争议证据。另一风险是历史数据清理完成后,接口仍持续产生重复记录。
当依据不足时,可选择“不物理删除”:原始事件全部归档,在计算层标记有效打卡;或将疑似重复记录迁入历史查询库,不参与考勤计算。若历史数据质量过低,也可只迁移人员档案和已确认的考勤结果,原明细以只读方式留存。
交付验收清单
- 原始文件、哈希值及导出说明齐全;
- 人员、卡号、设备映射已签认;
- 去重规则有版本号和审批记录;
- 删除、合并、保留均可追溯;
- 原始数、处理数、导入数能够平衡;
- 异常样本及跨午夜样本已核验;
- 新旧系统考勤结果形成对照;
- SDK 重试和 OA 对接完成幂等测试;
- 失败记录、遗留问题及责任人已登记;
- 回退文件、操作日志和验收报告已归档。
FAQ
同一人员同一秒两条记录,可以直接保留一条吗?
不可以一概而论。设备、方向或事件类型不同,可能是两次真实事件;只有原主键和来源均能证明重复时,才适合自动合并。
验收只比较导入前后总条数是否足够?
不够。总数一致仍可能发生错删和错配,应同时检查人员映射、异常样本、考勤计算结果及处理链路。
旧系统无法提供设备日志怎么办?
先保留疑似记录,通过班次、门禁方向、相邻事件和工资结果辅助判断;证据不足的部分进入待确认集,或采用只归档、不参与计算的替代方案。
项目对接需要提前准备什么?
建议准备原始导出样表、字段说明、设备品牌型号、网络与服务器条件、排班规则、OA 接口资料,以及期望迁移和验收范围。
联系电话:13521755685(董经理)
同号微信
售后 1 小时极速响应 · 7×12 小时在线
相关方案与下一步核对
公开方案用于核对服务范围;具体型号、接口和交付条件仍以原厂资料及现场验证为准。