SetFit-FinBERT1-A2-appreciation / README.md

Henniina

Push model using huggingface_hub.

f794f3d verified 28 days ago

preview code

raw

history blame contribute delete

10.7 kB

metadata

tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: >-
      Etunimi Sukunimi nyt unohdat, että punakapinaan oli sekaantunut myös
      venäläisiä kommunisteja. Tukivat punakapinallisia asetoimituksin ja
      lähettämällä upseereita johtamaan kapinaa. Yhteisen kielen puute vain
      onneksi häiritsi kapinallista työskentelyä. Historiaa sinun kannattaa
      lukea vähän enemmän. Venäjä on hyökännyt Suomeen kremlin johdolla
      useastikin. Alkaen jo tsarien ajoista. Pikku ja isoviha esim.
  - text: >-
      Etunimi Sukunimi poistitko kommenttisi? Kirjoitin tällaisen vastauksen.
      Eipä tuolla mitään lähteitä ollut mainittu. Ainoastaan tämä jutun perässä:
      "Pääkirjoitukset ovat HS:n kannanottoja ajankohtaiseen aiheeseen.
      Kirjoitukset laatii HS:n pääkirjoitustoimitus, ja ne heijastavat lehden
      periaatelinjaa."
  - text: >-
      Voi olla, mutta ennen sen hävityn sodan loppua kuolee paljon ukrainalaisia
      ja myös venäläisiä eikä Putinia kavereineen saada siitä koskaan vastuuseen
      😡
  - text: Etunimi Sukunimi 🙋‍♀️
  - text: >-
      Koska kolme rokotetta on täysi rokotesarja, niin todennäköisesti kolmesti
      rokotettuja. Nyt kun niitä tarjotaan kuitenkin kaikille yli 18-vuotiaille.
metrics:
  - metric
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: TurkuNLP/bert-base-finnish-cased-v1
model-index:
  - name: SetFit with TurkuNLP/bert-base-finnish-cased-v1
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: metric
            value: 0.9621631333093784
            name: Metric

SetFit with TurkuNLP/bert-base-finnish-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses TurkuNLP/bert-base-finnish-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: TurkuNLP/bert-base-finnish-cased-v1
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 2 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Etunimi Sukunimi herra senkun aloittaa keräyksen♥️' 'Etunimi Sukunimi venäjän syy hintojen nousu vai syytätkö sodastakin Suomen hallitusta ? 😖' 'Etunimi Sukunimi Olikhaan se virve'
1	'Etunimi Sukunimi onneks sentään ryyppäämään pääsee, eikä tule siihen ikäviä taukoja' 'Etunimi Sukunimi Juurikin näin 👍👍👍👍' 'Etunimi Oinonen-Matikkala, sama tunne jäi. Viisaita, pohdittuja sanoja.'

Evaluation

Metrics

Label	Metric
all	0.9622

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-A2-appreciation")
# Run inference
preds = model("Etunimi Sukunimi 🙋‍♀️")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	20.3115	213

Label	Training Sample Count
0	934
1	29

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (4, 4)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 6
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
evaluation_strategy: epoch
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0014	1	0.2634	-
0.0692	50	0.2672	-
0.1383	100	0.2311	-
0.2075	150	0.1393	-
0.2766	200	0.0183	-
0.3458	250	0.0122	-
0.4149	300	0.0096	-
0.4841	350	0.0136	-
0.5533	400	0.0047	-
0.6224	450	0.0075	-
0.6916	500	0.0041	-
0.7607	550	0.0048	-
0.8299	600	0.0045	-
0.8990	650	0.0015	-
0.9682	700	0.0033	-
1.0	723	-	0.3577
1.0373	750	0.002	-
1.1065	800	0.0055	-
1.1757	850	0.0052	-
1.2448	900	0.0032	-
1.3140	950	0.004	-
1.3831	1000	0.0051	-
1.4523	1050	0.0067	-
1.5214	1100	0.0036	-
1.5906	1150	0.0013	-
1.6598	1200	0.0047	-
1.7289	1250	0.0062	-
1.7981	1300	0.0022	-
1.8672	1350	0.0066	-
1.9364	1400	0.0044	-
2.0	1446	-	0.3291
2.0055	1450	0.0037	-
2.0747	1500	0.0037	-
2.1438	1550	0.003	-
2.2130	1600	0.0004	-
2.2822	1650	0.0042	-
2.3513	1700	0.0016	-
2.4205	1750	0.0033	-
2.4896	1800	0.0034	-
2.5588	1850	0.004	-
2.6279	1900	0.0023	-
2.6971	1950	0.006	-
2.7663	2000	0.0014	-
2.8354	2050	0.0039	-
2.9046	2100	0.0051	-
2.9737	2150	0.0038	-
3.0	2169	-	0.3276
3.0429	2200	0.0024	-
3.1120	2250	0.0022	-
3.1812	2300	0.0022	-
3.2503	2350	0.0032	-
3.3195	2400	0.003	-
3.3887	2450	0.0024	-
3.4578	2500	0.0039	-
3.5270	2550	0.0048	-
3.5961	2600	0.0048	-
3.6653	2650	0.0045	-
3.7344	2700	0.0039	-
3.8036	2750	0.0022	-
3.8728	2800	0.0031	-
3.9419	2850	0.0019	-
4.0	2892	-	0.3279

Framework Versions

Python: 3.11.9
SetFit: 1.1.3
Sentence Transformers: 3.2.0
Transformers: 4.44.0
PyTorch: 2.4.0+cu124
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}