Task
Other
P
paust/pko-t5-base
Other·paust· 46.4K· 20
한국어를 tokenize 하기 위해서 sentencepiece 대신 OOV 가 없는 BBPE 를 사용했으며 한국어 데이터 (나무위키, 위키피디아, 모두의말뭉치 등..) 를 T5 의 span corruption task 를 사용해서 unsupervised learning 만 적용하여 학습을 진행했습니다.
# pull & run locally
pip install mlforge-sdk && mlforge pull paust/pko-t5-base
pip install mlforge-sdk && mlforge pull paust/pko-t5-base
Model details
Provider
paust
Framework
transformers
Size
2.1 GB
License
cc-by-4.0
Downloads
46.4K
Likes
20
Paper
arXiv:2105.09680
Updated
2022-09-14
About paust/pko-t5-base
한국어를 tokenize 하기 위해서 sentencepiece 대신 OOV 가 없는 BBPE 를 사용했으며 한국어 데이터 (나무위키, 위키피디아, 모두의말뭉치 등..) 를 T5 의 span corruption task 를 사용해서 unsupervised learning 만 적용하여 학습을 진행했습니다.