國立陽明交通大學

#請益 NLP text classification

8月12日 23:29
大家好,想問說使用 model 前, 我進行 data processing 是按照這張圖的流程實作
imgur
目前我寫的如下
輸出長這樣,之後就能用 transformer model 訓練了吧 ?
imgur
4
留言 7
文章資訊
共 7 則留言
國立陽明交通大學 資訊工程學系
為什麼不自己試試看就知道能不能了
國立東華大學 資訊工程學系
如果用Huggingface的transformer,就用他的dataset或tokenizer就好了,再來如果你用你自己torchtext的前處理流程,再套用別人訓練好的模型,只要妳前處理的產出跟別人模型的前處理產出不一樣,效果就會比較差,這你自己要確認看看餒