在线文档教程
Sqlite
其他 | Miscellaneous

Internal Versus External BLOBs

内部与SQLite中的外部BLOB

如果您拥有一个大型BLOB数据库,那么当您将完整的BLOB内容直接存储在数据库中时,还是将每个BLOB存储在单独的文件中并将相应的文件名存储在数据库中时,您是否获得了更好的读取性能?

为了回答这个问题,我们在Linux工作站上运行了49个测试用例,其中包括各种BLOB大小和SQLite页面大小(Ubuntu大约2011年,在快速SATA磁盘上使用Ext4文件系统)。对于每个测试用例,都会创建一个包含100MB BLOB内容的数据库。BLOB的大小从10KB到1MB不等。BLOB的数量有所不同,以便将总BLOB内容保持在100MB左右。(因此,1MB大小的100个BLOB和10K大小的10000个BLOB)等等。使用SQLite 版本3.7.8(2011-09-19)。

更新:SQLite版本3.19.0(2017-05-22)的新测量结果显示, 对于读取和写入10KB Blob ,SQLite 比直接磁盘I / O的速度快 大约35%。

下面的矩阵显示读取存储在单独文件中的BLOB所需的时间,除以读取完全存储在数据库中的BLOB所需的时间。因此,对于大于1.0的数字,将BLOB直接存储在数据库中会更快。对于小于1.0的数字,将BLOB存储在单独的文件中会更快。

在任何情况下,都会调整页面缓存大小,以将缓存大小保持在2MB左右。例如,对于1024字节页面使用2000页面高速缓存,对于65536字节页面使用31页面高速缓存。BLOB值是以随机顺序读取的。

Database Page SizeBLOB size
10k20k
10241.535
20482.004
40962.261
81922.240
163842.439
327681.878
655361.256

我们从上面的矩阵中推导出以下经验法则:

  • 数据库页面大小为8192或16384可为大型BLOB I / O提供最佳性能。

  • 对于小于100KB的BLOB,当BLOB直接存储在数据库文件中时,读取速度更快。对于大于100KB的BLOB,从单独的文件读取速度更快。

当然,您的里程可能会因硬件,文件系统和操作系统而异。在进行特定设计之前,请仔细检查目标硬件上的这些数字。

SQLite在公共领域。