使用java进行数据导入
发布于 6 年前 作者 zdl-jose 3276 次浏览 来自 问答

请问一下大家有没有用java或者python导入数据到neo4j的经验,或者有没有一些例子可以分享一下,使用java导入到neo4j需要转换成csv文件吗,或者你们导入过亿的数据节点时,你们是怎么进行操作,提前将数据在csv中设置成相应的格式?还是有别的方法?

真心请教,谢谢

6 回复

过亿节点的话,直接用neo4j-admin import 小量的数据导入用load csv就行

@zhoujieren64 那导入之前数据得进行处理啊,过亿的处理起来没有那么简单吧

@zdl-jose 读一行清洗一下再写一行处理起来也挺快的,关键是这些数据如果实在数据库要导出成csv的话速度取决于网速 如果都是本地读写没啥问题呀

@zdl-jose 不需要把所有数据都加载到内存处理的话通常都没啥问题

@zhoujieren64 不不不,我纠结的不是这个问题,我纠结的是当使用neo4j-import时,关系数据文件就得设置相应的startid,endid,type啥的,如果说一条对一条数据,那可能还好说一点,就直接startid 123对 endid 123就可以,如果你是一对多关系呢,你这一个人对应着多个人,也就是你这startid1后面要对应着多个endid呀,这上亿的数据该怎么去处理啊,我对这个问题一直迷惑不解。

@zdl-jose neo4j-import的时候,对于节点会维护一个类似节点主键的一个id,这个是写在csv的第一行属性列表上的。添加关系的时候,同样在csv的第一行会声明哪个id是startid哪一个id是endid,每一条关系对应一行csv记录。比如下面这个例子,就是一个一对多的关系呀。

:startid,:endid 1,2 1,3 1,4

回到顶部