neo4j社区版百万节点数据导入问题
请问下,目前在使用neo4j社区版存储项目的关系数据。
一开始尝试过sdn,发现saveall大批量的会报exception,改成100或者1000,要不就是运行时间特别长,基本完不成,要不就是运行一段时间之后出现异常。 所以开始考虑其他方案,看到类似batch-import和admin-import这些的,需要数据库停机,因为当前使用的是社区版,并且跑在k8s上,感觉并不适用。 最后只能采用load csv的方式,看下是不是每天数据插入能够完成,并且时间不至于太长,用官网提供的python代码示例,运行几分钟之后会出现 [Errno 54] Connection reset by peer Failed to read from defunct connection IPv4Address 的错误,数据导入也无法完成,我的csv文件大概70M。 google查阅了下这个问题看有人在讨论,但是并没有找到测试能实际解决问题的办法。
有没有人遇到过类似的使用场景或是问题,麻烦不吝指导一下,非常感谢。
目前neo4j的版本是4.3.3,其他测试的基本用的也是配套比较新的。