崗位職責(zé):
1.?負(fù)責(zé)基于?Transformers?的生成式大模型的監(jiān)督微調(diào)(SFT),以適應(yīng)特定的應(yīng)用場(chǎng)景,如文本生成、對(duì)話系統(tǒng)等;
2.?應(yīng)用?LoRA(Low-Rank?Adaptation)和其他高效的微調(diào)技術(shù)(PEFT)來(lái)優(yōu)化模型大小和訓(xùn)練效率,同時(shí)保持高性能;
3.?實(shí)現(xiàn)和優(yōu)化模型訓(xùn)練流程,包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、評(píng)估和部署;
4.?為生產(chǎn)環(huán)境部署模型,確保模型能夠高效運(yùn)行并滿足實(shí)時(shí)響應(yīng)的需求。
5.?研究最新的模型壓縮和加速技術(shù),持續(xù)改進(jìn)模型性能;
6.?與其他團(tuán)隊(duì)成員合作,包括數(shù)據(jù)科學(xué)家、軟件工程師和產(chǎn)品經(jīng)理,共同
推動(dòng)項(xiàng)目的進(jìn)展;
7.?編寫高質(zhì)量的技術(shù)文檔和報(bào)告,支持內(nèi)部知識(shí)共享和技術(shù)交流。
??任職要求:??
1.?計(jì)算機(jī)科學(xué)或相關(guān)領(lǐng)域的碩士及以上學(xué)位;??
2.?有深度學(xué)習(xí)模型開發(fā)經(jīng)驗(yàn),特別是基于?Transformers?的生成式??
大模型的監(jiān)督微調(diào)經(jīng)驗(yàn);??
3.?熟練掌握?PyTorch?或類似深度學(xué)習(xí)框架,并具備使用這些工具進(jìn)行大規(guī)??
模模型訓(xùn)練的能力;??
4.?熟悉?Transformers?底層架構(gòu)和代碼、有?LoRA?或其他?PEFT?方法的實(shí)際應(yīng)用經(jīng)驗(yàn),熟悉不同框架的優(yōu)缺點(diǎn);??
5.?了解規(guī)模分布式訓(xùn)練系統(tǒng),了解?GPU?和?TPU?等高性能計(jì)算平臺(tái);??
6.?具備良好的算法基礎(chǔ)和數(shù)學(xué)基礎(chǔ),特別是在深度學(xué)習(xí)相關(guān)算法相關(guān)的基??
礎(chǔ);??
7.?有較好的英語(yǔ)閱讀能力,能夠閱讀最新的英文技術(shù)文獻(xiàn)。??
加分項(xiàng):??
1.?在頂級(jí)學(xué)術(shù)會(huì)議(如?NeurIPS、ICML、ACL?等)上發(fā)表過關(guān)于?Transformers或?LoRA?相關(guān)的論文;??
2.?開源社區(qū)貢獻(xiàn)者,擁有?GitHub?上活躍的個(gè)人項(xiàng)目。
??
???。。。。?!可提供北京落戶!?。。?!