Finnish-actions/SetFit-FinBERT1-A1-statement

SetFit with TurkuNLP/bert-base-finnish-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses TurkuNLP/bert-base-finnish-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: TurkuNLP/bert-base-finnish-cased-v1
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 2 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Etunimi Sukunimi herra senkun aloittaa keräyksen♥️' 'Etunimi Sukunimi venäjän syy hintojen nousu vai syytätkö sodastakin Suomen hallitusta ? 😖' 'Etunimi Sukunimi onneks sentään ryyppäämään pääsee, eikä tule siihen ikäviä taukoja'
1	'Etunimi Sukunimi Olikhaan se virve' 'EU-maan ja länteen kallellaan olevan Suomen kimppuun käyminen olisi poliittisesti liian riskaapeliä jopa Putinille, kun Venäjällä on sisäisiäkin ongelmia ihan riittävästi. Täällä on tehty selväksi ettei mikään venäläisten "sotilaallinen apu" ole tervetullutta, eikä Suomen poliittinen tilanne uhkaa Venäjää millään lailla. Valko-Venäjä (eli Lukashenka) on jonkin sortin valtioliitossa Venäjän kanssa ja Ukraina ei kuulu mihinkään valtioliittoon. Ne ovat olleet siis ns. vapaata riistaa Venäjälle.' 'Etunimi Sukunimi Ei tarkoita vaihtoehdottomuutta. Vaan että jos hakee, niin kannattaa valmistautua kaikenlaiseen, "roskinpia" rajaloukkauksia myöten. Valmistautuminen ei tarkoita, etteikö silti voisi hakea, vaan sitä että voi taklata vaikutusyritykset mahdollisimman hyvin.'

Evaluation

Metrics

Label	Metric
all	0.6847

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-A1-statement")
# Run inference
preds = model("Etunimi Sukunimi 🙋‍♀️")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	20.3115	213

Label	Training Sample Count
0	328
1	635

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (4, 4)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 6
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• evaluation_strategy: epoch
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0014	1	0.2398	-
0.0692	50	0.2668	-
0.1383	100	0.2413	-
0.2075	150	0.2369	-
0.2766	200	0.2194	-
0.3458	250	0.1942	-
0.4149	300	0.136	-
0.4841	350	0.106	-
0.5533	400	0.0627	-
0.6224	450	0.0337	-
0.6916	500	0.0173	-
0.7607	550	0.0137	-
0.8299	600	0.0073	-
0.8990	650	0.0041	-
0.9682	700	0.0029	-
1.0	723	-	0.3019
1.0373	750	0.0063	-
1.1065	800	0.0036	-
1.1757	850	0.0016	-
1.2448	900	0.0037	-
1.3140	950	0.0056	-
1.3831	1000	0.0036	-
1.4523	1050	0.0015	-
1.5214	1100	0.0003	-
1.5906	1150	0.0013	-
1.6598	1200	0.0025	-
1.7289	1250	0.0042	-
1.7981	1300	0.0024	-
1.8672	1350	0.0023	-
1.9364	1400	0.0003	-
2.0	1446	-	0.3401
2.0055	1450	0.0002	-
2.0747	1500	0.0013	-
2.1438	1550	0.0033	-
2.2130	1600	0.0013	-
2.2822	1650	0.0022	-
2.3513	1700	0.0034	-
2.4205	1750	0.0029	-
2.4896	1800	0.0031	-
2.5588	1850	0.0014	-
2.6279	1900	0.0003	-
2.6971	1950	0.0032	-
2.7663	2000	0.0022	-
2.8354	2050	0.0022	-
2.9046	2100	0.0012	-
2.9737	2150	0.0002	-
3.0	2169	-	0.3286
3.0429	2200	0.0002	-
3.1120	2250	0.0032	-
3.1812	2300	0.0003	-
3.2503	2350	0.0002	-
3.3195	2400	0.0011	-
3.3887	2450	0.0012	-
3.4578	2500	0.0001	-
3.5270	2550	0.002	-
3.5961	2600	0.0042	-
3.6653	2650	0.0028	-
3.7344	2700	0.0021	-
3.8036	2750	0.0027	-
3.8728	2800	0.0025	-
3.9419	2850	0.0029	-
4.0	2892	-	0.3328

Framework Versions

• Python: 3.11.9
• SetFit: 1.1.3
• Sentence Transformers: 3.2.0
• Transformers: 4.44.0
• PyTorch: 2.4.0+cu124
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}