盘酷分享站_永久百度网盘会员一个月免费试用 自监督预训练任务 VIMER-StrucTexT 2.0 预训练环节采用的是在 CV&NLP 领域被广泛应用的 Mask-Predict 机制。预训练流程包括四个环节： 1）基于网络公开数据抓取超 1 亿张文档图像数据，采用百度高精度OCR服务进行文字检测和识别，保留高置信度文字信息（包括文本内容和位置）； 2）对文档图像的文本区域进行随机掩码，并输入给编码器进行特征编码； 3）利用文字位置信息对掩码的文本区域通过ROI操作提取相应的特征，得到每个文本区域的表征信息； 4）最后将表征信息分别输入给两个掩码预训练任务进行图像重建（采用图像生成模型设计方式，还原被掩码的文本区域图像）和文本推理（利用文本区域表征信息直接预测被掩码区域中的文本内容），通过大数据的加持能够让编码器充分学习到文档多模态知识。
更多百度网盘超级会员使用技巧百度搜索盘酷分享站，还有百度网盘超级会员账号领取哦！ ↓ ↓ 免费领取百度网盘超级会员试用流程说明 流程说明：打开手机微信，点击任意好友进入聊天框，长按复制下面内容 #小程序://腾讯文档/kfBj0TQ5ELJEG3E 发送给好友并点击参加活动。 |
Powered by 52yunku X3.2© 2016-2017 Comsenz Inc.
