本地缓存

发表于 | 更新于 | 分类于
字数统计 | 阅读时长

多级缓存

多级缓存是通过在数据访问路径的不同层级上部署缓存来提高数据访问效率的技术。通常包括：

  1. 本地缓存：位于应用服务器本地，访问速度非常快，但容量有限。常用的本地缓存框架有Caffeine和Guava，它们提供了缓存过期策略、缓存项管理等高级功能。

  2. 分布式缓存：通常部署在多台服务器上，容量大，适合存储热点数据。常用的分布式缓存框架有Redis和Memcached。分布式缓存通过网络访问，速度比本地缓存慢，但提供了更高的可用性和可扩展性。

查询逻辑

在多级缓存系统中，查询数据的逻辑通常是：

  1. 首先查询本地缓存。
  2. 如果本地缓存未命中，则查询分布式缓存。
  3. 如果分布式缓存命中，则将结果存入本地缓存（通常称为“回写”或“预热”缓存）。
  4. 如果分布式缓存也未命中，则可能需要查询数据库或其他持久化存储。

代码示例

您提供的代码示例中有几个问题和遗漏，下面是修正后的版本：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
public String query(String key) {
    // 查询本地缓存
    String localResult = localCache.get(key);
    if (localResult != null) {
        // 本地缓存命中，直接返回结果
        return localResult;
    }

    // 本地缓存未命中，查询分布式缓存
    String remoteResult = remoteCache.get(key);
    if (remoteResult != null) {
        // 分布式缓存命中，将结果存入本地缓存
        localCache.put(key, remoteResult); // 注意：这里需要指定key和value
        return remoteResult;
    }

    // 分布式缓存也未命中，这里可能需要处理，例如查询数据库
    // 注意：此示例未包含该逻辑

    // 如果没有其他数据源或查询失败，返回null或适当的默认值
    return null;
}

特殊场景：黑名单与Bloom Filter

对于某些特殊场景，如黑名单检查，可以使用Bloom Filter来进一步优化。Bloom Filter是一种空间效率很高的概率型数据结构，用于判断一个元素是否在一个集合中。它允许一定程度的假阳性（即判断为在集合中但实际上不在），但不会有假阴性（即判断为不在集合中但实际上在）。

在使用Bloom Filter作为本地缓存的场景中，如果Bloom Filter判断某个元素可能在集合中（即可能命中黑名单），则需要再次查询分布式缓存或数据库以确认。如果确认命中，则可以进行相应的处理；如果未命中，则可以直接返回结果。

这种组合使用Bloom Filter和分布式缓存的方法可以在保持高性能的同时，降低对分布式缓存的访问频率和带宽消耗。

你提出的问题涉及到了本地缓存一致性的保证方法，这是一个在使用本地缓存时经常需要考虑的问题。以下是对你问题的详细解答：

如何保证本地缓存的一致性？

本地缓存的一致性问题主要是由于数据在多个节点（或进程）间的不同步更新导致的。为了解决这个问题，我们可以采取以下几种策略：

  1. 使用版本号或时间戳：

    • 当本地缓存更新时，将新的数据及其版本号或时间戳存储到数据库中。
    • 其他节点在访问本地缓存时，先检查数据库中的版本号或时间戳，如果发现自己本地缓存的版本较旧，则从数据库中更新本地缓存。

  2. 借助配置中心：

    • 当本地缓存更新时，将变更通知到配置中心。
    • 配置中心将变更推送到所有相关节点，节点监听配置变化并更新本地缓存。

  3. 使用消息队列（MQ）：

    • 当本地缓存更新时，发送一个广播消息到消息队列。
    • 所有订阅了该消息的节点接收到消息后，更新自己的本地缓存。

  4. 设置合理的失效时长：

    • 根据业务对数据一致性的需求，设置本地缓存的失效时长。
    • 在失效时长内，本地缓存的数据是有效的，但可能不是最新的。失效后，查询将触发从分布式缓存或数据库中更新本地缓存。

  5. 使用自动更新策略：

    • 一些缓存库（如Caffeine）支持自动更新策略。
    • 可以配置定时刷新策略，让缓存库在后台定期从分布式缓存或数据库中更新数据。

注意事项：

  • 评估数据变化频率：频繁更新的数据不适合放在本地缓存中。
  • 评估业务一致性需求：根据业务需求决定是否使用本地缓存，以及能接受的不一致时长。
  • 选择合适的缓存库：一些缓存库提供了丰富的配置选项，可以帮助更好地管理本地缓存。

RocketMQ消息分发：

RocketMQ支持两种消息模式：广播消费和集群消费。

  • 广播消费：消息会发送给集群内的所有消费者，确保每个消费者都能收到消息。这种模式适用于需要向所有消费者广播消息的场景。
  • 集群消费：消息只会被发送到集群中的一个消费者（根据负载均衡算法选择）。这种模式适用于需要处理大量消息且不需要每个消费者都收到所有消息的场景。

总结：

保证本地缓存的一致性是一个复杂的问题，需要根据业务需求和数据变化频率来选择合适的策略。在实际应用中，通常会结合多种策略来确保数据的一致性和系统的性能。同时，也需要关注缓存库的选择和配置，以充分利用其提供的特性来优化系统性能。

wechat
天生我才必有用