博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SQLite读写同步之WAL机制
阅读量:5977 次
发布时间:2019-06-20

本文共 1702 字,大约阅读时间需要 5 分钟。

WAL简介

在数据库读写操作中,经常会有人问到数据库读写同步的问题,即在数据库操作中,数据正处于写状态,此时要读取的数据为空状态,问怎么操作。其实,说到这就不得不提到数据库的一个重要的机制WAL,不管是后端的PostSql还是前端的SqlLite,都会涉及到WAL机制。

WAL的全称是Write Ahead Logging,它是很多数据库中用于实现原子事务的一种机制,SQLite在3.7.0版本引入了该特性。具体使用时,当事务对数据库进行修改时,将修改后的页面存入WAL文件中,而不写回原数据库。WAL文件从数据库的第一个连接建立时创建,在最后一个连接释放时删除。

WAL工作原理

在引入WAL机制之前,SQLite使用rollback journal机制实现原子事务。

rollback journal机制的原理是:在修改数据库文件中的数据之前,先将修改所在分页中的数据备份在另外一个地方,然后才将修改写入到数据库文件中;如果事务失败,则将备份数据拷贝回来,撤销修改;如果事务成功,则删除备份数据,提交修改。

WAL机制的原理是:修改并不直接写入到数据库文件中,而是写入到另外一个称为WAL的文件中;如果事务失败,WAL中的记录会被忽略,撤销修改;如果事务成功,它将在随后的某个时间被写回到数据库文件中,提交修改。

同步WAL文件和数据库文件的行为被称为checkpoint(检查点),它由SQLite自动执行,默认是在WAL文件积累到1000页修改的时候;当然,在适当的时候,也可以手动执行checkpoint,SQLite提供了相关的接口。执行checkpoint之后,WAL文件会被清空。

在读的时候,SQLite将在WAL文件中搜索,找到最后一个写入点,记住它,并忽略在此之后的写入点(这保证了读写和读读可以并行执行);随后,它确定所要读的数据所在页是否在WAL文件中,如果在,则读WAL文件中的数据,如果不在,则直接读数据库文件中的数据。

在写的时候,SQLite将之写入到WAL文件中即可,但是必须保证独占写入,因此写写之间不能并行执行。WAL在实现的过程中,使用了共享内存技术,因此,所有的读写进程必须在同一个机器上,否则,无法保证数据一致性。

WAL的优点与缺点

优点:

1.读和写可以完全地并发执行,不会互相阻塞(但是写之间仍然不能并发)。
2.WAL在大多数情况下,拥有更好的性能(因为无需每次写入时都要写两个文件)。
3.磁盘I/O行为更容易被预测。

缺点:

1.访问数据库的所有程序必须在同一主机上,且支持共享内存技术。
2.每个数据库现在对应3个文件:<yourdb>.db,<yourdb>-wal,<yourdb>-shm。
3.当写入数据达到GB级的时候,数据库性能将下降。
4.3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。

WAL兼容性问题

在启用了WAL之后,数据库文件格式的版本号由1升级到了2,因此,3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。禁用WAL会使数据库文件格式的版本号恢复到1,从而可以被SQLite 3.7.0之前的版本识别。

WAL引入的性能问题

在一般情况下,WAL会提高SQLite的事务性能;但是在某些极端情况下,却会导致SQLite事务性能的下降。如:

1.在事务执行时间较长或者要修改的数据量达到GB级的时候,WAL文件会被占用,它会暂时阻止checkpoint的执行(checkpoint会清空WAL文件),这将导致WAL文件变得很大,增加寻址时间,最终导致读写性能的下降。

2.当checkpoint执行的时候,会降低当时的读写性能,因此,WAL可能会导致周期性的性能下降。

WAL涉及的接口

# PRAGMAPRAGMA journal_modePRAGMA wal_checkpointPRAGMA wal_autocheckpoint# sqlitesqlite3_wal_checkpointsqlite3_wal_autocheckpointsqlite3_wal_hook

转载地址:http://pzpox.baihongyu.com/

你可能感兴趣的文章
系统重构笔记
查看>>
浏览器本地存储
查看>>
设计模式——工厂方法模式和抽象工厂模式
查看>>
5月23日任务 LAMP架构介绍、MySQL、MariaDB介绍、 MySQL安装
查看>>
FCC有意支持Sprint与T-Mobile合并?
查看>>
XMLHttpRequest
查看>>
词向量、句子向量、篇章向量的一些理解(转)
查看>>
Linux集群架构(下)——DR模式、keepalived+LVS
查看>>
使用Xshell连接Linux服务器
查看>>
hadoop学习笔记2
查看>>
最全面的C/C++编码规范总结
查看>>
Java程序员涨薪必备技能
查看>>
C++ socket编程
查看>>
js传后台action中文乱码处理
查看>>
从源文件中读出最后10KB内容到目的文件中
查看>>
PLSQL Developer连接Oracle数据库
查看>>
CentOS6 kvm添加网卡桥接口脚本
查看>>
备忘录:CISCO router ENABLE crack
查看>>
firewalld、netfilter、 netfilter5表5链、iptables介绍
查看>>
linux的Nginx安装、默认虚拟主机、用户认证、域名重定向配置介绍
查看>>