一种结合数学优化和机器学习的方法

数学优化与机器学习:

数学优化是一种强大的决策工具。数学优化通过制定目标中的目标和指定约束和变量，有助于在当前情况下做出最佳决策。数学优化的价值已经在许多不同的行业得到了证明，比如航空、物流、电力和金融。

机器学习是人工智能的一个子领域。计算机可以识别数据中的模式并学习预测未来，可以生成集群，检测异常，或者生成新的音乐或图像。可能性是无限的。有监督、无监督和强化学习的机器学习方法都可以应用于各种行业，例如医疗保健甚至艺术。机器学习模型都是关于概率和预测将要发生的事情的概率。

但要注意，当数据变化太大时，机器学习模型就会变得无用，模型需要重新训练或从头开始重建。数学优化需要明确的指令和良好的数学描述。它不能像机器学习那样处理非结构化数据。此外，如果问题变得太大，您可能需要一个商业求解器来解决问题。有些问题更适合机器学习，而在其他情况下，数学优化更好。当你想要发现数据中的模式、找到相似的数据样本或预测天气时，你应该使用机器学习。如果您想要创建一个时间表，为设施找到最佳位置，或者最小化问题的成本，数学优化是一个更好的选择。

如何将ML和MO结合起来?

• 在优化模型中使用机器学习预测作为约束:
  这是结合ML和MO的最直接的方法。机器学习首先用于进行预测，这被用作优化问题的输入。您可以使用机器学习模型的输出来设置约束。
• 在机器学习模型中使用优化决策作为训练特征:
  首先对模型进行优化以做出决策，并将决策用作机器学习模型中的特征。在实践中，这种方法不太常见，因为大多数决策(MO)遵循预测(ML)。但在具体的项目中，这是可能的，而且可能是有用的。数学优化在物流中应用广泛。如果您使用优化来决定需要将多少供应从生产工厂运送到市场，则可以节省大量时间、金钱和资源。
• 利用机器学习输出确定数学优化模型的范围:
  除了在优化问题中直接使用机器学习输出外，您还可以选择将它们分开组合。您可以在同一个项目中使用它们，但不是在同一个过程中。你可以使用机器学习输出来简化数学优化问题。您可以使用机器学习来确定可以在更短时间内解决的优化模型的范围。
• 利用优化解决机器学习研究问题:
  这是一个使用优化来帮助解决机器学习挑战的研究领域。您可以使用优化来为机器学习问题找到一组最优参数。ML和MO在这里紧密集成，因为你在ML问题中使用优化。在构建回归模型时，删除不相关的特征将使模型更具可解释性，并且更不容易过度拟合数据。特征的最优子集很难找到，称为最优子集选择问题。在过去的几十年里，混合整数规划的速度有了显著的提高，这使得在现有问题上对其进行测试变得很有用。测试了这个问题，它工作正常。

机器学习的进步是什么?

构建机器学习应用程序涉及使用单个学习器，例如逻辑回归、决策树、支持向量机或人工神经网络，向其提供数据，并使用该数据教其执行特定任务。

而集成方法则涉及使用多个学习器来单独提高任何一个学习器的性能。这些方法可以被描述为使用一组弱学习器来创建更强大的聚合学习器的技术。通常，集成方法是通过对单个决策树的变量进行分组来构建的。

机器学习系统有哪些不同类型?

机器学习模型在训练过程中需要的监督的数量和类型。

• 监督式学习:
  机器学习系统被转化为计算机算法。所有数据都被标记，告诉机器相应的值，供机器学习在判断输出中的误差时使用。这种方法是人工分类，比如告诉机器标准答案，机器就会按照标准答案进行回答，正确率就会更高。如果你用来提供算法的数据包含所需的解，那么你就在一个监督学习系统面前。
• 无监督学习:
  这种类型的系统没有提供所需的解决方案(没有标签)。所有的数据都没有标记，机器通过寻找数据的特征来进行分类。例如异常检测。该算法在检测产品缺陷或产品标签记录等情况下非常有用。
• Semi-supervised学习:
  在本例中，您同时拥有已标记和未标记的数据。对一小部分数据进行标记，计算机只需要通过标记的数据找到特征，对其他数据进行分类。因此，半监督学习算法是无监督算法和有监督算法的结合。
• 批学习:
  系统不能进行增量学习，它必须使用所有可用的数据进行训练。由于这是一个昂贵且耗时的过程，因此通常是离线完成的。一旦系统投入生产，它将只应用以前学到的东西，而不再学习。
• 电子学习:
  在在线学习中，系统通过使用小批量数据顺序提供数据实例来进行增量训练。每个学习步骤都是快速而廉价的，因此系统可以在新数据到达时立即学习。当数据快速变化或计算资源有限时，这些算法非常有用。
• 基于实例的学习:
  在基于实例的学习中，系统从示例中学习，然后通过使用相似性度量将它们与学习过的示例进行比较，从而推广到新的案例。
• 基于模型的学习:
  从一组例子中进行概括的另一种方法是为这些例子建立一个模型，然后使用该模型进行预测。