MLlib(ApacheSpark)

MLlib是Apache Spark的可扩展机器学习库具有以下核心优势：
– 易用性：可在Java、Scala、Python和R中使用。MLlib适合Spark的API并与Python中的NumPy（自Spark 0.9起）和R库（自Spark 1.5起）互操作。
– 性能：高质量的算法比MapReduce快100倍。Spark擅长迭代计算使MLlib能够快速运行。
– 运行环境：Spark可以在Hadoop、Apache Mesos、Kubernetes、独立或云中运行针对不同的数据源。

MLlib的应用场景包括：
– 分类：逻辑回归、朴素贝叶斯等。
– 回归：广义线性回归、生存回归等。
– 决策树、随机森林和梯度提升树。
– 推荐：交替最小二乘法（ALS）。
– 聚类：K均值、高斯混合模型（GMMs）等。

MLlib包含许多算法和实用程序包括：
– 特征转换：标准化、归一化、哈希等。
– ML管道构建。
– 模型评估和超参数调整。
– ML持久性：保存和加载模型和管道。

MLlib是作为Apache Spark项目的一部分开发的因此会随着每个Spark版本进行测试和更新。