整合系统所有数据源抽取关系处理成图数据,如何实现效率较高
目前实现纯java代码调度实现:查询出所有有关系的数据,封装成一条条图关系数据,在merge进去 因为都是百万-亿级的表,调度根本跑不动! 请问大佬们有什么好的实现思路方案么,小白在线求助 (看到etl的作用好像适用,还在摸索中,不知效率如何)
5 回复
没有一亿节点的数据去试。我觉得写法,模型和你的neo4j的pagecache,heap配置都应该有影响。你有可以试试啊。 数据量大的话,你考虑一下借助APOC来完成这些批量操作,分批提交。 https://neo4j.com/labs/apoc/4.1/graph-updates/periodic-execution/ 应该效率会更高。