基于元学习的超参数优化机制

李骜

西北民族大学电气工程学院甘肃兰州 730124

摘要：深度学习模型于诸多学习任务之中取得了颇为显著的成效，调参对于深度学习模型而言，确实是一件颇为棘手的事情。就超参数优化这一问题来看，在深度学习领域中，它呈现出非线性、非凸、组合优化以及混合优化等诸多特点，而且试错所耗费的成本也相当之高。众多的超参数以及网络结构参数会组合成数量极为可观的多种组合形式，而常见的grid search在效率方面的表现却相对较低。面对这样的情况，本文运用了元参数初始化加速机制、历史任务知识迁移机制、自适应搜索策略机制以及朴素经验迁移机制这四种超参优化加速机制方法。在这之中，依靠元参数初始化加速机制成功化解了冷启动阶段探索成本过高的难题，自适应搜索策略机制则是把元学习的思想应用到了对超参数搜索算法进行动态调整之上。文章所提到的这四种机制均切实有效地提高了模型训练过程中的效率以及资源的利用率。

关键词：迁移机制；元学习；动态调整；机器学习；参数自适应

全文下载

上一期

高墩桥梁托架整体拆除技术研究

无人机摄影测量在地形测绘中的精度分析

下一期

International Medical Research and Translation (IMRT)

International Education and Social Science Exploration (IESSE)

Technological Innovation and Science Management (TISM)

艺术探索与社会实践研究

中国经济与社会科学研究