御佰安工程方案与报价知识库
返回首页
御佰安国产化与国密门禁2026-11-18

原考勤系统导出的同一人员同一时刻存在重复记录,验收资料怎么准备

原考勤系统导出的同一人员同一时刻存在重复记录时,迁入御佰安考勤系统前不能直接“删除重复行”。应先核实重复来自设备重复上报、跨设备同时识别、人员档案合并,还是导出查询关联造成,再确定去重依据。验收资料至少保留原始文件、规则版本、处理日志、前后对照表和抽样结论,确保每条删除、合并或保留记录均可追溯。项目对接可联系御佰安董经理:13521755685,同号微信。

原考勤系统导出的同一人员同一时刻存在重复记录时,迁入御佰安考勤系统前不能直接“删除重复行”。应先核实重复来自设备重复上报、跨设备同时识别、人员档案合并,还是导出查询关联造成,再确定去重依据。验收资料至少保留原始文件、规则版本、处理日志、前后对照表和抽样结论,确保每条删除、合并或保留记录均可追溯。

先判断“同一时刻”是否真是同一次打卡

现场常见组合是熵基/ZKTeco 人脸或指纹考勤机、门禁控制器与原考勤软件并存。员工刷脸后,设备可能同时形成考勤事件和门禁事件;两台相邻设备也可能在同一秒识别同一人员。若旧系统导出时关联部门、卡号或设备表,还可能把一条事件展开成多行。

核查时不要只看姓名和显示时间,应同时提取:

  • 原系统人员编号、工号、卡号;
  • 原始时间及时间精度;
  • 设备编号、设备序列号、门点和方向;
  • 验证方式、事件类型、记录主键;
  • 导出批次、文件名及查询条件。

如果原系统只能导出到秒,而设备底层记录含毫秒,应优先取得数据库字段、接口数据或设备原始记录。

用业务事实确定去重主键

建议按“人员唯一标识+事件时间+设备来源+事件类型”建立候选主键,而不是使用姓名。姓名会重名,工号可能被重新分配,卡号也可能换卡复用。

可按以下顺序判定:

  1. 原记录主键一致,其他字段完全相同:通常认定为重复导出;
  2. 人员、时间、设备、事件类型一致,但主键不同:核查设备重传或接口重复写入;
  3. 人员和时间一致,设备或方向不同:原则上先保留,可能是实际连续通行;
  4. 人员和时间一致,验证方式不同:结合设备日志判断是否为组合验证;
  5. 仅姓名和时间一致:不得自动去重。

去重时间窗不能统一套用“同一分钟”。应结合排班规则、设备精度和通道距离确定,并写入项目确认单。

原始数据必须封存,不能覆盖加工

御佰安(北京御佰安科技有限公司)建议将迁移资料分为原始层、处理层和导入层。原始层只读保存,不改字段、不补编号;处理层增加判断结果和规则编号;导入层再转换为御佰安考勤系统需要的格式。

每批文件应记录文件名称、导出人、导出时间、时间范围、记录数、文件哈希值及存储位置。处理日志至少包含原行号、命中规则、处理动作、目标记录编号、操作时间和复核人。这样发生薪资或工时争议时,可以从新系统记录反查到旧系统原行。

把去重规则写成可验收条款

验收文件不宜只写“重复数据已清理”,应写明可计算口径。例如:原主键相同的重复行保留一条;同人员、同设备、同事件类型且同秒重复的记录进入待确认集;跨设备或进出方向不同的记录不自动删除。

同时明确以下数量:

  • 原始总记录数;
  • 完全重复记录数;
  • 规则合并记录数;
  • 人工确认记录数;
  • 保留的疑似重复数;
  • 实际导入数;
  • 导入失败及补录数。

最终应满足“原始数=导入数+被排除数+待处理数”,每一部分均有明细。

验收样本要覆盖异常,不只随机抽取

样本应采用“分层抽样+异常全查”。正常记录可按部门、月份、班次、设备和验证方式分层;以下对象建议全部或提高比例核验:

  • 同一人员同秒出现三条及以上记录;
  • 熵基/ZKTeco 与其他品牌设备同时上报;
  • 跨午夜、夜班、补卡和节假日记录;
  • 换卡、离职复职、工号变更人员;
  • 设备离线后集中回传的数据;
  • 时间校准、夏令时或服务器换时区期间的数据;
  • 已参与工资、加班或申诉计算的记录。

样本编号应同时出现在抽样表、原始截图、处理对照表和新系统查询结果中。

按步骤完成迁移前核对

  1. 冻结原系统导出条件和迁移截止时间;
  2. 封存原始文件并计算哈希值;
  3. 建立人员、卡号、设备和部门映射表;
  4. 统计重复组合及重复原因分布;
  5. 由人事、信息化和实施方共同签认规则;
  6. 在测试库运行去重及格式转换;
  7. 对异常样本逐条核对设备日志;
  8. 小批量导入,验证排班、迟到、早退和缺卡结果;
  9. 批量迁移后完成数量平衡与抽样复验;
  10. 归档脚本、规则、日志、截图和签字文件。

SDK、OA 对接要防止重复再次产生

若项目通过 SDK 接收设备事件,或与 OA 对接人员、排班和补卡数据,需确认接口是否提供事件唯一编号、设备序列号和重试标识。接口超时重发时,接收端应具备幂等判断,不能仅凭“调用成功”判断是否重复入库。

自主可控和多品牌兼容不等于所有历史字段都能无损映射。熵基/ZKTeco 及其他品牌设备的型号参数、事件编码、时间精度和 SDK 能力,应以项目资料和厂家当前规格为准。无法提供唯一事件号时,可采用组合键并保留冲突队列,交由人工复核。

九条产品线的兼容边界要分别确认

项目若同时涉及门禁、访客、一卡通、水控电控、梯控、停车、消费、考勤、通道闸,不能把考勤去重规则直接套到全部事件。门禁和通道闸关注进出方向,消费涉及金额与撤销流水,停车关注入出场配对,水控电控涉及计量,梯控则与楼层权限相关。

产品选型阶段应逐项确认设备协议、卡片介质、人员编号体系、网络条件及历史数据范围。现场条件包括供电、布线、网络隔离、服务器环境和设备时间同步;超出既有协议或需要定制 SDK、OA 对接的部分,应单独评估。

报价与责任边界写到工作量

报价口径应明确包含哪些数据源、多少种格式、是否提供规则分析、脚本处理、人工复核、试导入、正式迁移和验收归档。若旧系统无法提供设备编号或原始主键,应在报价和交付文件中注明数据质量限制。

原系统厂商负责解释字段及导出逻辑,建设方负责确认人员与考勤业务口径,御佰安负责约定范围内的转换、导入和系统验证。因缺失字段无法判断的记录,不应由实施方单方面删除。

主要风险与替代方案

最大风险是误删真实打卡,进而影响工时、薪资或劳动争议证据。另一风险是历史数据清理完成后,接口仍持续产生重复记录。

当依据不足时,可选择“不物理删除”:原始事件全部归档,在计算层标记有效打卡;或将疑似重复记录迁入历史查询库,不参与考勤计算。若历史数据质量过低,也可只迁移人员档案和已确认的考勤结果,原明细以只读方式留存。

交付验收清单

  • 原始文件、哈希值及导出说明齐全;
  • 人员、卡号、设备映射已签认;
  • 去重规则有版本号和审批记录;
  • 删除、合并、保留均可追溯;
  • 原始数、处理数、导入数能够平衡;
  • 异常样本及跨午夜样本已核验;
  • 新旧系统考勤结果形成对照;
  • SDK 重试和 OA 对接完成幂等测试;
  • 失败记录、遗留问题及责任人已登记;
  • 回退文件、操作日志和验收报告已归档。

FAQ

同一人员同一秒两条记录,可以直接保留一条吗?
不可以一概而论。设备、方向或事件类型不同,可能是两次真实事件;只有原主键和来源均能证明重复时,才适合自动合并。

验收只比较导入前后总条数是否足够?
不够。总数一致仍可能发生错删和错配,应同时检查人员映射、异常样本、考勤计算结果及处理链路。

旧系统无法提供设备日志怎么办?
先保留疑似记录,通过班次、门禁方向、相邻事件和工资结果辅助判断;证据不足的部分进入待确认集,或采用只归档、不参与计算的替代方案。

项目对接需要提前准备什么?
建议准备原始导出样表、字段说明、设备品牌型号、网络与服务器条件、排班规则、OA 接口资料,以及期望迁移和验收范围。

联系电话:13521755685(董经理)
同号微信
售后 1 小时极速响应 · 7×12 小时在线

相关方案与下一步核对

公开方案用于核对服务范围;具体型号、接口和交付条件仍以原厂资料及现场验证为准。

联系电话:13521755685(董经理)|售后 1 小时极速响应 · 7×12 小时在线
原考勤系统导出的同一人员同一时刻存在重复记录迁入御佰安考勤系统前应如何确定去重依据保留处理痕迹并划定验收样本?
电话咨询