batch-import 工具批量导入数据会丢数据??
发布于 7 年前 作者 minokie 4942 次浏览 来自 问答

有一批数据,68w条,使用batch-import 工具导入后,仅导入了47w,过程无报错。整整21w条数据丢了。。。。 难道会丢数据吗?

5 回复

应该不会丢的,除非你的关系或者属性的id有重复的,然后被覆盖了

刚检查了一下, 第472055条入库了,第472056条数据库中没有,然后随机检查了后面的几条数据,也没入库。说明到472055条就结束了,后面所有的数据都没入。 使用batch-import 入库的时候,正常,没有提示错误,显示入库的记录数是472055。也就是说,工具只录了这么多。至于为什么后面的数据不录了我也不知道。猜测是否跟设定的内存大小有关?,或者是heap值大小? 又或者是neo4j数据库的容量大小? 忘交代了个前提,我原数据库中已有近3800w条数据,容量大概是49G,然后再执行追加。

https://github.com/jexp/batch-import 用的个 批量导入? 到配置文件里 改大点 neostore.relgroupstore.db=10MB 试试

楼主解决了吗?我也遇到这种问题了。求回复

看些bad.log是否有失败记录

回到顶部