大规模csv数据插入Neo4j
发布于 3 年前 作者 wandf12345 616 次浏览 来自 问答

各位大家好,我有非常大规模的csv格式的数据需要插入neo4j. 大约每天7G,大概500万条,每条是一个单独的 subgraph…可以分成小文件并行插入, 调用python api, 然后建立 node, 建立relationship, 一条一条的循环 插入,在一个很强的windows 上, 但还是很慢,大约每小时5万条, 这个一天插入不完。 已经用了多线程,通过分成10个小 CSV 文件,多个线程同时插入的方式,还是慢, 请问有啥招吗?

5 回复

windows 12 core, 线程大概用了10个, 还是不够快。

研究了一下发现用load csv方法还是很慢, 用自带的batch import貌似说很快,但是一定要新建graph db…基于已有的db没办法。。

有merge操作的话会比较慢,给merge判别条件里的attribute构建索引会快很多。

谢谢。。那我尽量用create了 不用merge了。。试试看。。

@gccnosharp 谢谢啊 。立竿见影!谢谢大牛

回到顶部