在 dotnet 里面,可以使用 Interlocked 进行原子命令更改 int 等的值,利用这个特性可以在一个固定足够长长度的数组里面,让多线程无锁等待写入值。因为没有锁的存在,无法保证读取时的安全,因此这样的集合只能被设计为只写的集合,只有在业务上完成了所有的写之后,才能作为可读的集合取出来
这是在 newbe 大佬的代码所看到的用法,这是他的一个实现 https://github.com/newbe36524/Newbe.Claptrap/blob/a187bac81652f9808a0f6cdc2916bbf6288e8ee3/src/Newbe.Claptrap/Tools/AutoFlushList.cs# 尽管这个实现里面其实是有很多不安全的
一个安全和推荐的做法是在写入的时候禁止有任何的更改内部数组的长度的行为,同时在写入的时候禁止有任何的读取行为
这个快速无序仅写集合的原理是通过 Interlocked 原子让索引增加,此时每个线程进入写入方法时,都会触发一次索引增加,每次都拿到不同的索引值。而在初始化的时候在集合内容就创建了一个固定长度的数组,这样每次线程进入都会拿到不同的索引值,可以使用索引值对应到数组里面不同的下标,此时进行写入是安全的。当然也是仅写入安全,此时不能做读取
最简的实现方式如下
可以看到上面代码只有写入的功能,即使在写入完成之后,也没有方法去读取内部的 _buffer
数组的内容,因此可以在上面的类加上下面方法
需要注意的是 GetReadOnlyCollection
方法仅能在这个 ConcurrentWriteOnlyBag 写入完全完成之后才能使用,需要业务端保证这个行为,否则会出现读取的数据是不安全的数据,例如写入了一半或没有写入
上面代码的 GetReadOnlyCollection 方法是将整个内部 _buffer
全部返回,而不是将当前已写入的索引返回,因此在实际使用的时候,如果不会完全写满,还需要大家自己加上这部分的功能
因为这个集合没有任何的锁的存在,在多线程同时写入的时候的性能超级好
我有写了一些测试的代码,本文代码放在 github 欢迎小伙伴访问
另外推荐一下 newbe36524/Newbe.Claptrap 这个有趣的库
同时推荐大家多线程工具集合:https://github.com/dotnet-campus/AsyncWorkerCollection 开源库
在 https://github.com/dotnet-campus/AsyncWorkerCollection 包含了 AsyncQueue DoubleBuffer DoubleBufferTask AsyncAutoResetEvent AsyncManualResetEvent LimitedRunningCountTask ExecuteOnceAwaiter 等的实现,详细请看
- dotnet 使用 AsyncQueue 创建高性能内存生产者消费者队列
- dotnet 双缓存数据结构设计 下载库的文件写入缓存框架
- C# dotnet 高性能多线程工具 AsyncAutoResetEvent 异步等待使用方法和原理
- C# dotnet 高性能多线程工具 ExecuteOnceAwaiter 只执行一次的任务
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。 欢迎转载、使用、重新发布,但务必保留文章署名 林德熙 (包含链接: https://blog.lindexi.com ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请与我 联系。