有若干个数据文件，文件由一条条记录组成，每条记录长度相等，均为二进制：
KEY|VALUE
其中KEY长度固定为40字节，VALUE长度固定为32字节，每条记录合计共72字节。
不同的KEY个数1000~5000万，这样数据净大小为720M~3.6G，有10~100这大小的文件。
对上述数据只有增加和修改操作，即增加一条记录（包括KEY和VALUE），和修改一条记录（仅修改VALUE值）。
KEY由5个8字节整数组成，而VALUE则由8个4字节整数组成。

初始时，文件为空，但后续不断有KEY-VALUE加进来，对于文件中不存在的KEY，则需要加进来；
对已经存在的，则需要将两个VALUE相加，然后再写回到文件中。

每10分钟更新一次，也就是将10分钟内收到的数据更新到数据文件中，大概有10万~100万条记录，包括新增的和需要修改的。

由于数据量已经超出内存，所以需要借助磁盘，不知道对这样的情况，采用什么样的方案性能上为佳，
请各位高手指点。

这时候为什么不尝试用数据库呢？

内存中维护KEY和该KEY在文件中的偏移量（或者记录号）作为索引

man 3 db

最简单方便的方法就是如2楼所说，用数据库。
如果不想用数据库，那就自己实现B+树，用B+树组织文件。

有个类似的问题，是不是你提的，还是推荐数据库

是啊,为什么不用数据库呢...

lz如果顾忌性能，用BerkeleyDB吧，实时更新你的记录都没问题 操作思路和你现在也很相似

为啥那么多人推荐用数据库的。LZ要求性能好，当然是自己写文件快多了

小型的嵌入式数据库,BDB,sqlite之类的,不见得比文件慢多少,你自己做索引那些如果做的不好不见得比它们快....