你可能会惊讶地发现，80% 的财富 100 强公司都在使用 Kafka。它用于制造业、银行机构、保险、IT 和电信等工业领域。使用 Apache Kafka 的一些顶级公司包括 LinkedIn、Netflix、Twitter、Uber、Goldman Sachs、PayPal、Airbnb 和 Oracle。
Spark 与 Kafka
Apache Spark 和 Kafka 各有优缺点。选择哪种方案取决于某些考虑因素 - 是否要在集群管理器上运行流处理、延迟保证、数据接收器、处理是数据并行还是任务并行、您使用的生态系统、社区采用情况等等。对于希望 拉脱维亚电报筛查 在共享基础架构上运行应用程序的公司来说，Spark 是一个通用选择，因此可以将 Spark 应用程序与现有的 Hadoop 发行版集成。
另一方面，如果需要使用独立程序来管理应用程序而不需要集群管理器，那么显然 Kafka 是最佳选择。另一个考虑因素是评估数据接收器是基于 Kafka 还是HDFS。Spark系统与 Hadoop 生态系统契合度很高，而 Kafka 数据接收器与 Kafka 流完美契合。如果可以接受秒级延迟且事件时间无关紧要，那么 Spark 具有优势，而 Kafka 则适合低延迟。
总而言之，这完全取决于要开发的用例或应用程序的类型。通过比较上述参数和要满足的要求，可以使用 Spark 或 Kafka。希望它能回答您的一些问题，或者至少为您指明正确的方向。