neo4j社区版百万节点数据导入问题
发布于 3 年前 作者 xilu04290331 575 次浏览 来自 问答

请问下,目前在使用neo4j社区版存储项目的关系数据。

一开始尝试过sdn,发现saveall大批量的会报exception,改成100或者1000,要不就是运行时间特别长,基本完不成,要不就是运行一段时间之后出现异常。 所以开始考虑其他方案,看到类似batch-import和admin-import这些的,需要数据库停机,因为当前使用的是社区版,并且跑在k8s上,感觉并不适用。 最后只能采用load csv的方式,看下是不是每天数据插入能够完成,并且时间不至于太长,用官网提供的python代码示例,运行几分钟之后会出现 [Errno 54] Connection reset by peer Failed to read from defunct connection IPv4Address 的错误,数据导入也无法完成,我的csv文件大概70M。 google查阅了下这个问题看有人在讨论,但是并没有找到测试能实际解决问题的办法。

有没有人遇到过类似的使用场景或是问题,麻烦不吝指导一下,非常感谢。

目前neo4j的版本是4.3.3,其他测试的基本用的也是配套比较新的。

2 回复

主要是插入 频率太快 量太大

降低插入频率,或者用更高性能配置(如企业版,或者升级硬件)

回到顶部