이전 포스팅에서 onnx 형식의 ner 모델을 triton에 업로드하여 동작을 확인하였다.하지만 해당 onnx 모델의 input은 input_ids, attention_mask 텐서, 즉 raw text를 tokenizer로 연산한 결과이다.따라서 tokenizing 하는 전처리 과정을 추가하기 위해 python backend model을 추가해야 한다.마찬가지로 onnx 모델의 output logit 만으로는 각 token이 어떠한 ner tag를 가지는지 알 수 없기 때문에,output logit을 ner tag 결과로 변환하는 후처리 과정을 추가해야 한다. 그러면 아예 모델 내부에 전처리/후처리 로직을 넣어서 onnx 모델로 변환하면 안되나 싶겠지만유연성, 재사용성, 확장성, 유지보수 등 다양한 측..
