整合系统所有数据源抽取关系处理成图数据,如何实现效率较高
发布于 3 年前 作者 1023446271 564 次浏览 来自 问答

目前实现纯java代码调度实现:查询出所有有关系的数据,封装成一条条图关系数据,在merge进去 因为都是百万-亿级的表,调度根本跑不动! 请问大佬们有什么好的实现思路方案么,小白在线求助 (看到etl的作用好像适用,还在摸索中,不知效率如何)

5 回复

又有一个想法:直接将所有的源数据全导入neo4j中,再在neo4j中新建节点之间的关系!这样是不是会快很多! 大佬们有其它更好的建议欢迎指点

是的。 个人建议:新建关系前,创建关系可能会使用到的索引,可以更快。

@derek 大佬有测试过亿级节点 一条cypher组建节点间的关系的效率么,会把neo4j跑跨么

没有一亿节点的数据去试。我觉得写法,模型和你的neo4j的pagecache,heap配置都应该有影响。你有可以试试啊。 数据量大的话,你考虑一下借助APOC来完成这些批量操作,分批提交。 https://neo4j.com/labs/apoc/4.1/graph-updates/periodic-execution/ 应该效率会更高。

@derek 好的!谢谢 你说的这些我还都没研究,现在去学习下 感谢

回到顶部