来一起学机器学习吧🤗
我们来看看 DeepSeek 眼中的机器学习:
一、基本概念
1. 与传统编程的区别
- 传统编程:规则明确,输入数据→输出结果
- 机器学习:数据+结果→自动学习规则(模型)→处理新数据
2. 核心要素
- 数据:训练模型的原材料(文本/图像/数值等)
- 特征:用于预测的关键属性(如房价预测中的面积、地段)
- 模型:数据中学习到的规律(数学函数或算法)
- 损失函数:衡量预测误差(如均方误差)
- 优化算法:调整模型参数(如梯度下降)
二、分类与任务
类型 | 定义 | 典型任务 | 常用算法 |
---|---|---|---|
监督学习 | 数据带标签,学习输入→输出的映射 | 分类、回归 | 线性回归、SVM、决策树 |
无监督学习 | 数据无标签,发现隐藏结构 | 聚类、降维 | K-Means、PCA |
强化学习 | 通过环境交互优化策略,以最大化累积奖励 | 游戏AI、机器人控制 | Q-Learning、深度强化学习 |
半监督学习 | 结合少量标注数据与大量未标注数据 | 数据标注成本高的场景 | 图半监督算法 |
自监督学习 | 利用数据自身生成标签(如文本填空) | 预训练语言模型 | BERT、GPT |
三、常见算法
1. 经典算法
- 线性回归:拟合线性关系(如房价预测)
- 逻辑回归:二分类问题(输出概率)
- 决策树:可解释性强,易过拟合→需剪枝
- 随机森林:多棵决策树的集成,降低方差
2. 深度学习
- 核心结构:多层神经网络(CNN/RNN/Transformer)
- 优势:自动提取高阶特征,处理图像/语音/NLP
- 典型模型:
- ResNet(图像分类)
- LSTM(时间序列预测)
- Transformer(机器翻译)
四、开发流程
- 数据预处理
- 清洗(去噪、填充缺失值)
- 特征工程(编码、归一化、特征选择)
- 模型训练
- 划分训练集/验证集/测试集
- 选择算法(如XGBoost用于结构化数据)
- 评估指标
- 分类:
准确率
、F1-score
、AUC-ROC
- 回归:
MSE
、MAE
- 聚类:
轮廓系数
、Davies-Bouldin指数
- 分类:
- 部署与监控
- 模型轻量化(如TensorFlow Lite)
- 持续监控数据漂移(如Prometheus)
五、应用领域
- CV:人脸识别、自动驾驶(YOLO目标检测)
- NLP:ChatGPT对话、文本摘要(Transformer)
- 推荐系统:协同过滤(Netflix)、深度学习混合模型
- 金融:欺诈检测(孤立森林)、量化交易(LSTM预测)
六、挑战与趋势
挑战
- 数据质量:标注成本高、隐私保护(GDPR)
- 模型缺陷:过拟合、黑箱可解释性差(如深度学习)
趋势
- AutoML:自动超参调优(Google Cloud AutoML)
- 联邦学习:数据不出本地联合训练(医疗场景)
- 边缘计算:端侧推理(TensorFlow.js)
七、学习资源
- 书籍:
- 《机器学习》(西瓜书)- 周志华
- 《Deep Learning》- Ian Goodfellow
- 课程:
- 吴恩达《机器学习》(Coursera)
- Fast.ai《Practical Deep Learning》
- 工具:
- 传统 ML:Scikit-learn
- 深度学习:PyTorch/TensorFlow