SetFit-FinBERT1-A3-challenge / README.md

Henniina

Push model using huggingface_hub.

c672291 verified about 1 month ago

preview code

raw

history blame contribute delete

10.4 kB

metadata

tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: >-
      Etunimi Sukunimi Kaunistelua sanoa että vain yhden ihmisen tähden. Putinin
      toimilla on Venäjällä laaja kannatus, kyllä kansakunnalla on myös
      kollektiivista vastuuta tapahtumista. Sotaa vastaan protestoivia on ollut
      vähemmän kuin Venäjällä sotilaita Ukrainassa.
  - text: Toivottavasti valtio korvaa jokaisen menetetyn euron
  - text: >-
      Etunimi Sukunimi Niin on..  ja valtioita joista lähinnä venäjä ja
      valko-venäjä.
  - text: www.maskikauppa.fi
  - text: Etunimi Sukunimi Jatka veikkonen.
metrics:
  - metric
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: TurkuNLP/bert-base-finnish-cased-v1
model-index:
  - name: SetFit with TurkuNLP/bert-base-finnish-cased-v1
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: metric
            value: 0.7911322719833359
            name: Metric

SetFit with TurkuNLP/bert-base-finnish-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses TurkuNLP/bert-base-finnish-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: TurkuNLP/bert-base-finnish-cased-v1
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 2 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Etunimi Sukunimi katso tilastot ja vertaa funssiin' 'Ei muuta kuin Norjaan öljyostoksille 🙂' 'Etunimi Etunimi Härmä ja mitenköhän se yle ne anonyymit sinne haastatteluun saa jos he eivät itse ilmottaudu. Kun ovat noi potilastiedot salaisia.... joskus olis ihan hyvä hetki miettiä....🤔🤔'
1	'Etunimi väittäisin, että paremmin he tämän hoitavat, kuin viimekertainen "poikalauma"' 'Eikö. Lisää piikkejä vaan niin hyvää tulee. Ne pelastaa. 😆' 'Etunimi Sukunimi perustuslakia ei ole rikottu niissä asioissa mitä convoypellet väitti, kaikki mitä kaverit väittää ei ole totta .'

Evaluation

Metrics

Label	Metric
all	0.7911

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-A3-challenge")
# Run inference
preds = model("www.maskikauppa.fi")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	20.2233	213

Label	Training Sample Count
0	843
1	120

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (4, 4)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 6
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
evaluation_strategy: epoch
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0014	1	0.2409	-
0.0692	50	0.2872	-
0.1383	100	0.2515	-
0.2075	150	0.2327	-
0.2766	200	0.1678	-
0.3458	250	0.0977	-
0.4149	300	0.0434	-
0.4841	350	0.031	-
0.5533	400	0.0183	-
0.6224	450	0.0084	-
0.6916	500	0.0069	-
0.7607	550	0.0057	-
0.8299	600	0.0045	-
0.8990	650	0.0011	-
0.9682	700	0.0005	-
1.0	723	-	0.4558
1.0373	750	0.0003	-
1.1065	800	0.0008	-
1.1757	850	0.0007	-
1.2448	900	0.0001	-
1.3140	950	0.0001	-
1.3831	1000	0.0008	-
1.4523	1050	0.0001	-
1.5214	1100	0.0001	-
1.5906	1150	0.0001	-
1.6598	1200	0.0001	-
1.7289	1250	0.0001	-
1.7981	1300	0.0001	-
1.8672	1350	0.0001	-
1.9364	1400	0.0001	-
2.0	1446	-	0.4562
2.0055	1450	0.0	-
2.0747	1500	0.0001	-
2.1438	1550	0.0001	-
2.2130	1600	0.0	-
2.2822	1650	0.0001	-
2.3513	1700	0.0	-
2.4205	1750	0.0	-
2.4896	1800	0.0	-
2.5588	1850	0.0	-
2.6279	1900	0.0	-
2.6971	1950	0.0	-
2.7663	2000	0.0	-
2.8354	2050	0.0	-
2.9046	2100	0.0	-
2.9737	2150	0.0	-
3.0	2169	-	0.4560
3.0429	2200	0.0	-
3.1120	2250	0.0	-
3.1812	2300	0.0	-
3.2503	2350	0.0	-
3.3195	2400	0.0	-
3.3887	2450	0.0	-
3.4578	2500	0.0	-
3.5270	2550	0.0	-
3.5961	2600	0.0	-
3.6653	2650	0.0	-
3.7344	2700	0.0	-
3.8036	2750	0.0	-
3.8728	2800	0.0	-
3.9419	2850	0.0	-
4.0	2892	-	0.4593

Framework Versions

Python: 3.11.9
SetFit: 1.1.3
Sentence Transformers: 3.2.0
Transformers: 4.44.0
PyTorch: 2.4.0+cu124
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}