eISSN: 1731-2515
ISSN: 0209-1712
Anestezjologia Intensywna Terapia
Bieżący numer Archiwum O czasopiśmie Rada naukowa Recenzenci Prenumerata Kontakt Zasady publikacji prac
Panel Redakcyjny
Zgłaszanie i recenzowanie prac online
2/2019
vol. 51
 
Poleć ten artykuł:
Udostępnij:
Artykuł oryginalny

Walidacja skal APACHE II i SAPS II na oddziale anestezjologii i intensywnej terapii wraz z oceną przydatności skali SOFA, stosowanej przy przyjęciu, w szacowaniu ryzyka zgonu pacjentów

Izabela Kądziołka
1, 2
,
Rafał Świstek
1
,
Karolina Borowska
3
,
Paweł Tyszecki
1
,
Wojciech Serednicki
1, 4

1.
Oddział Kliniczny Anestezjologii i Intensywnej Terapii, Szpital Uniwersytecki w Krakowie, Polska
2.
Zakład Dydaktyki Medycznej, Collegium Medicum Uniwersytet Jagielloński w Krakowie, Polska
3.
Szpital Uniwersytecki w Krakowie, Polska
4.
Klinika Intensywnej Terapii Interdyscyplinarnej, Collegium Medicum Uniwersytet Jagielloński w Krakowie, Polska
Anestezjologia Intensywna Terapia 2019; 51, 2: 111–115
Data publikacji online: 2019/07/16
Plik artykułu:
Pobierz cytowanie
 
 
Pierwsze skale służące do oceny stanu pacjenta zostały stworzone w latach 80. ubiegłego wieku i szybko zyskały popularność na oddziałach intensywnej terapii (OIT) [1, 2]. Od tego czasu powstało wiele nowych skal lub modyfikowano już istniejące tak, aby jak najdokładniej ocenić stan pacjenta. Stanowią one narzędzie do walidacji działań leczniczych oraz monitorowania jakości i kosztów leczenia. Wystandaryzowany sposób oceny chorych jest także wyjątkowo pomocny podczas wykonywania badań prospektywnych i retrospektywnych, które z kolei przyczyniają się do wprowadzania na oddziałach coraz bardziej skutecznych metod leczenia, zarówno interwencyjnych, jak i farmakologicznych [3].
Jednymi z najbardziej znanych są skale APACHE II (Acute Physiology and Chronic Health Evaluation II) i SAPS II (Simplified Acute Physiology Score II), w których oceniane są różne parametry fizjologiczne pacjenta, a także uwzględniane są dane dotyczące jego wieku, chorób przewlekłych i przebytych operacji. Weryfikację według tych skal powinno się przeprowadzać w ciągu pierwszych 24 godzin od przyjęcia chorego na OIT, co pozwala nie tylko na ocenę stanu chorego, lecz także na oszacowanie ryzyka zgonu podczas danej hospitalizacji [1]. Część ocenianych parametrów jest wspólna dla obu skal, choć w niektórych przypadkach wydolność tych samych układów określa się na podstawie innych czynników. Największe różnice między obiema skalami dotyczą współistnienia chorób przewlekłych [1, 2].
Coraz częściej na OIT stosowana jest skala SOFA (Sequential Organ Failure Assessment, pierwotnie określana jako Sepsis-related Organ Failure Assessment), która stanowi podstawę aktualnej definicji sepsy. Skala SOFA służy do codziennej oceny stanu pacjenta i opiera się na parametrach rutynowo monitorowanych w warunkach OIT. Obejmuje ona parametry dotyczące sześciu podstawowych układów organizmu, jednak nie uwzględnia chorób przewlekłych, wieku ani trybu przyjęcia pacjenta. Jest to alternatywa dla rozbudowanych skal, m.in. APACHE II czy SAPS II, które obejmują nie tylko podstawowe parametry życiowe i wyniki szybkich badań przyłóżkowych POCT (Point-of Care Testing), ale też badania laboratoryjne wykonywane raz na kilka dni lub tylko jednorazowo [4].
W zależności od profilu i referencyjności OIT skuteczność skal APACHE II, SAPS II i SOFA w szacowaniu rokowania znacznie się różni.
Badanie przeprowadzono w celu oszacowania wiarygodności skal APACHE II i SAPS II w ocenie ryzyka zgonu pacjentów na oddziale anestezjologii i intensywnej terapii (OAiIT). Zbadano również, czy wprowadzenie dodatkowej skali SOFA lub zastąpienie nią dotychczas stosowanych skal poprawiłoby skuteczność przewidywania zgonu i skuteczność leczenia.

METODY

Badanie uzyskało pozytywną opinię Komisji Bioetycznej Uniwersytetu Jagiellońskiego w Krakowie. Zostało przeprowadzone u pacjentów leczonych na 30-łóżkowym OAiIT Szpitala Uniwersyteckiego w Krakowie (OAiIT SU). Do analizy retrospektywnej włączono chorych powyżej 18. roku życia przyjętych na oddział w okresie od 18 kwietnia 2016 r. do 12 sierpnia 2016 r. Wykluczono osoby przeniesione z innego OIT.
Pacjentów oceniano w skali APACHE II i SAPS II przy użyciu kalkulatorów skonfigurowanych w systemie Infomedica, w chwili przyjęcia na OAiIT SU. Wynik w skali SOFA liczono dla najgorszych wyników z okresu 24 godzin od momentu przyjęcia chorych na oddział (https://www.thecalculator.co/health/Sequential-Organ-Failure-Assessment-(SOFA)-Score-Calculator-862.html). Dane wprowadzone do formuły obliczeniowej pochodziły z: analizatora POCT (stężenie kreatyniny, bilirubiny, HCO3 oraz pH krwi, PaO2), analizy krwi w szpitalnym laboratorium (liczba krwinek płytkowych i leukocytów, hematokryt) oraz oceny neurologicznej w skali śpiączki Glasgow (Glasgow Coma Scale – GCS), której dokonywano w chwili przyjęcia na OIT. Badanych podzielono na dwie grupy: grupa 1 – pacjenci, którzy zmarli na oddziale, grupa 2 – pacjenci, dla których punktem końcowym był wypis z OAiIT SU lub przeniesienie na inny oddział zachowawczy.
Wyniki w skalach APACHE II, SAPS II i SOFA poddano analizie statystycznej, w której oceniono dyskryminację, predykcję zgonu i kalibrację testów. Dyskryminację zdefiniowano jako zdolność skali do różnicowania pacjentów, dla których punktem końcowym będzie zgon lub przeżycie. Za satysfakcjonujący wynik dyskryminacji skali przyjmuje się obszar pod krzywą (area under receiver operator characteristic – AUROC) > 0,70 [5]. Kalibrację skali zdefiniowano jako stopień zgodności pomiędzy przewidywanym punktem końcowym a obserwowanym.
Analizy statystyczne przeprowadzono na danych źródłowych, na które składały się zmienne jakościowe i ilościowe. Do porównania zmiennych ilościowych o rozkładzie normalnym użyto testu t-Studenta, a w przypadku braku rozkładu normalnego danych testu U Manna-Whitneya. Do zbadania zależności pomiędzy skalami użyto korelacji Pearsona. Dyskryminację sprawdzono za pomocą krzywych ROC (receiver operator characteristic) oraz AUROC. Kalibrację oznaczono za pomocą testu Hosmera-Lemenshowa. W obliczeniach przyjęto poziom istotności statystycznej P < 0,01. Do opracowania danych użyto programu Statistica 12 (Statsoft, Tulsa, USA).

WYNIKI

Do badania włączono 86 osób. Średnia wieku wynosiła 58,66 ± 20,71 roku, a średni czas leczenia na OAiIT SU 32,06 ± 18,86 dnia.
W grupie pierwszej znalazło się 25 chorych (29%). Ich leczenie na oddziale było krótsze w porównaniu z osobami z grupy 2 (U = 253, P < 0,01). Cechy demograficzne pacjentów przedstawiono w tabeli 1.
Dla obu grup pacjentów obliczono średnie wartości i mediany punktacji w różnych skalach (tab. 2). W grupie 2 wyniki w skali APACHE II i SAPS II były niższe niż w grupie 1, odpowiednio 3,90 i 3,96 (P < 0,01). Nie stwierdzono istotnej statystycznie różnicy pomiędzy grupami w średniej punktacji w skali SOFA przy przyjęciu, która w grupie 1 wynosiła 15,2 (± 3,83), a w grupie 2 – 14,0 (± 3,66) (P = 0,18).
Na podstawie współczynnika korelacji Pearsona stwierdzono dużą korelację pomiędzy wartościami w skali SAPS II i APACHE II (r = 0,7, P < 0,01). Jednocześnie wykazano brak korelacji wartości w skali SOFA z SAPS II (P = 0,056) i APACHE II (P = 0,365).
Zdolność dyskryminacji dwóch grup badanych ze względu na ryzyko zgonu przy użyciu skal APACHE II, SAPS II i SOFA została przedstawiona na rycinie 1. Dla badanych skal uzyskano następujące wartości AUROC: dla APACHE II – 0,738, dla SAPS II – 0,737, dla SOFA – 0,579, co wskazuje na statystyczną istotność w przewidywaniu zgonu jedynie w przypadku dwóch pierwszych skal, z bardzo zbliżonym rezultatem.
Najlepszą kalibrację, oznaczoną przy użyciu testu Hosmera-Lemenshowa, otrzymano dla skali SAPS II (1,601, P = 0,991). Gorszy wynik uzyskały skale APACHE II (4,798, P = 0,685) i SOFA (5,033, P = 0,540).

DYSKUSJA

W przeprowadzonym badaniu skale APACHE II i SAPS II okazały się skuteczne w wiarygodnej ocenie ryzyka zgonu przy przyjęciu chorych na oddział. Wartości punktacji w tych skalach były większe u chorych z grupy, w której punktem końcowym był zgon, w porównaniu z chorymi, którzy zostali wypisani lub przeniesieni z OIT. Takiej różnicy nie zaobserwowano w przypadku skali SOFA. Dodatkowo stwierdzono, że dyskryminacja skal APACHE II i SAPS II przyniosła lepsze rezultaty niż skali SOFA.
Do tej pory opublikowano wiele prac, w których porównywano skuteczność analizowanych skal w prognozowaniu śmiertelności, jednak wyniki dotyczące skali SOFA są niejednoznaczne. Jednym z badań, w których autorzy uznali, że nie ma ona zastosowania w ocenie predykcji śmiertelności przy przyjęciu na OIT, było badanie prospektywne przeprowadzone w Kanadzie [6]. W analizie tej dane zbierano zgodnie z zaleceniami twórców skali SOFA [4]. Uwzględniono wyniki aż 1436 pacjentów, które wykazały słabą kalibrację i dyskryminację (AUROC 0,67) [6]. Z drugiej strony istnieją również prace potwierdzające przydatność skali SOFA w ocenie ryzyka zgonu przy przyjęciu na OIT (AUROC > 0,8) [7–9]. Badanie retrospektywne z New Delhi przeprowadzono w celu porównania nowej generacji skal APACHE, SAPS, SOFA z tymi stosowanymi wcześniej. Wykazano dużą dyskryminację (AUROC ~ 0,89) i jednocześnie słabą kalibrację dla skal SOFA i SAPS II [9].
We wspomnianych, a także innych badaniach porównujących skuteczność skal wartości AUROC dla skali SOFA kształtowały się w przedziale 0,67–0,84 [6–8, 10–13], a najgorszy wynik AUROC dla skali APACHE II lub SAPS II wynosił 0,74 [14]. W badaniach, w których porównano tylko skale SOFA z APACHE II lub SAPS II, wynik AUROC dla SOFA wynosił > 0,70, podczas gdy wyniki dyskryminacji APACHE II i/lub SAPS II wykazywały większą wiarygodność [10, 11, 13, 15].
Pewne różnice dotyczące skal w przytaczanych pracach mogą wynikać m.in. z różnego podejścia do oceny skali GCS u chorych leczonych na OIT [2, 4, 16]. W przypadku skal SAPS II oraz APACHE II GCS powinno być oceniane przed włączeniem środków sedujących i przed wdrożeniem wentylacji mechanicznej płuc [2, 16]. Dla potrzeb skali SOFA należy zaś uwzględnić aktualną punktację [4]. W przypadku badania na OAiIT SU w Krakowie ocena GCS była utrudniona – pacjenci w chwili przyjęcia na OIT zazwyczaj byli pod wpływem środków sedujących, które podano podczas hospitalizacji na szpitalnym oddziale ratunkowym lub w czasie znieczulenia. Ponadto sporna pozostaje ocena GCS u osób zaintubowanych, co ma największe znaczenie w przypadku skali SOFA, w której parametr ten odgrywa ważną rolę w punktacji.
W odniesieniu do kalibracji w przeprowadzonej analizie wykazano, że jest ona najlepsza dla skali SAPS II (P = 0,991), nieco gorsza dla skali APACHE II (P = 0,685) i najsłabsza dla skali SOFA (P = 0,540). Te wyniki są spójne z otrzymanymi w innych ośrodkach badawczych, gdzie stwierdzano lepsze kalibracje dla dwóch pierwszych wymienionych skal, odpowiednio w przedziale 0,079–0,811 [9, 10, 13, 14] i 0,189–0,86 [9, 11, 13, 14], w porównaniu ze skalą SOFA: 0,301–0,437 [9, 11, 13, 15].
W literaturze bardzo niewiele jest badań walidujących skale na OIT w Polsce. Jedyne dane pochodzą z ośrodka gdańskiego oraz łódzkiego, gdzie m.in. weryfikowano przewidywanie zgonu wg skal SAPS II, APACHE II oraz SOFA. Grupa badawcza Sawickiej i wsp. [17] oceniała pacjentów leczonych z powodu chorób układu krwiotwórczego. Ośrodek łódzki walidował skale dla chorych z meningokokowym zapaleniem opon mózgowo-rdzeniowych. W obu doniesieniach stwierdzono przydatność wszystkich trzech skal. Wykazano jednak, że jedynie skala SAPS II może być stosowana jako niezależny czynnik ryzyka zgonu [17, 18]. W zestawieniu z danymi uzyskanymi w tej pracy średnie wyniki wszystkich trzech skal przy przyjęciu pacjentów są bardzo zbliżone.
Porównanie średniego czasu leczenia pacjentów na OIT z danymi z innych prac [11, 14, 19] wyraźnie pokazuje istotnie dłuższy czas w przypadku pacjentów krakowskiego OIT. Jest to zauważalne szczególnie wśród pacjentów z grupy 2, w której wynosił on 38,25 dnia (± 16,8), ale czas ten jest długi także w grupie 1 – 16,96 dnia (± 14,8). W przytaczanych doniesieniach średnia długość leczenia na OIT w grupie pacjentów, których wypisano lub przeniesiono z oddziału, mieściła się w przedziale 4,0–8,42 dnia, a w grupie chorych, którzy zmarli: 5,3–7,51 dnia [11, 14, 19].
Kwestia długości hospitalizacji na OIT w warunkach polskiego systemu opieki zdrowotnej była już wielokrotnie poruszana. W 2014 r. Adamski i wsp. [20] zaprezentowali pracę porównującą funkcjonowanie OIT w Polsce (Olsztyn) i Finlandii (Pori). Wykazali diametralne różnice m.in. w średniej długości leczenia na OIT, odpowiednio: 14 dni i 4,2 dnia. Autorzy za przyczynę uznali m.in. brak regulacji prawnych dotyczących zasad podtrzymania lub odstąpienia od leczenia i procedury do not resuscitate, brak zaplanowanej opieki nad pacjentami przewlekle chorymi po wypisie z OIT oraz brak jednostek pośrednich w polskim systemie opieki, zajmujących się dalszym leczeniem pacjentów po wypisie z OIT, a przed przyjęciem na oddział zachowawczy. Ponadto prawie 50% pacjentów w Polsce zostało przyjętych na OIT z innych oddziałów szpitalnych, podczas gdy w Finlandii dominują przyjęcia ze szpitalnego oddziału ratunkowego [20]. Takie wyniki wskazują na problem zbyt późnego reagowania na stopniowo pogarszający się stan pacjentów leczonych na oddziałach szpitalnych.
W przeprowadzonym badaniu na duże wartości punktacji w ocenianych skalach, bardzo długie czasy hospitalizacji na OIT, a także efekty końcowe leczenia wpływało wiele czynników, często zależnych od warunków systemu opieki zdrowotnej w Polsce. Można do nich zaliczyć m.in. zróżnicowany profil pacjentów przyjmowanych do OIT, brak standardów postępowania, brak systemu przekazywania poza OIT pacjentów niewymagających dalszego leczenia na tych oddziałach oraz ograniczoną dostępność metod diagnostycznych i terapeutycznych. Na podstawie przeprowadzonej analizy warto zauważyć, że pomimo wykazania braku skuteczności skali SOFA w predykcji zgonu pacjentów przy ich przyjęciu na oddział nie wykluczono jej przydatności do ciągłej oceny pacjentów OIT. Codzienna ocena pacjentów według skali SOFA oraz analiza zmienności wyników w kolejnych dniach mogłaby stanowić dodatkowy element przy podejmowaniu decyzji terapeutycznych [21].
Niniejszą pracę wykonano jako badanie wstępne do dalszych analiz, weryfikujących przydatność stosowania skal przy przyjęciu na OAiIT SU w Krakowie. Za cel wyznaczono usprawnienie, poprzez stosowanie jednej najskuteczniejszej skali, indywidualnej oceny pacjenta przy przyjęciu na OIT, a także podejmowanie decyzji terapeutycznych na podstawie obiektywnych danych klinicznych. W przyszłości wskazane byłoby rozbudowanie analizy poprzez zwiększenie liczebności grup badanych, podział ze względu na powód hospitalizacji, zastosowanie nowszych skal oceny, m.in. skali SAPS III. Skala ta w licznych badaniach wykazuje dużą dyskryminację i kalibrację.

WNIOSKI

Dotychczas stosowane skale APACHE II i SAPS II są wiarygodnymi narzędziami szacującymi ryzyko zgonu przy przyjęciu na OAiIT SU w Krakowie. Dobre wyniki dyskryminacji i duża kalibracja dla obu testów skłaniają do zastanowienia się nad koniecznością stosowania dwóch równorzędnych skal.
Wprowadzenie skali SOFA do oceny pacjentów przy przyjęciu na OAiIT SU w Krakowie nie poprawiłoby skuteczności predykcji zgonu.
Ze względu na specyfikę funkcjonowania systemu opieki zdrowotnej w Polsce i długie okresy hospitalizacji niezbędna wydaje się dodatkowa ocena pacjenta według skal w trakcie leczenia na OIT oraz analiza wyników w odniesieniu do punktu końcowego.

PODZIĘKOWANIA

1. Autorzy pragną podziękować pani Barbarze Wyrobie za pomoc w badaniu.
2. Źródła finansowania: brak.
3. Konflikt interesów: brak.

Piśmiennictwo

1. Knaus WA, Draper EA, Wagner DP, Zimmerman JE. APACHE II: a severity of disease classification system. Crit Care Med 1985; 13: 818-829.
2. Le Gall JR, Lemeshow S, Saulnier F. A new Simplified Acute Physiology Score (SAPS II) based on a European/North American multicenter study. JAMA 1993; 270: 2957-2963. doi: 10.1001/jama.1993. 03510240069035.
3. Weingarten S, Bolus R, Riedinger MS, Maldonado L, Stein S, Ellrodt AG. The principle of parsimony: Glasgow Coma Scale Score predicts mortality as well as the APACHE II score for stroke patients. Stroke 1990; 21: 1280-1282. doi: https://doi.org/10.1161/01.STR.21.9.1280.
4. Vincent JL, Moreno R, Takala J, et al. The SOFA (Sepsis-related Organ Failure Assessment) score to describe organ dysfunction/failure. On behalf of the Working Group on Sepsis-Related Problems of the European Society of Intensive Care Medicine. Intensive Care Med 1996; 22: 707-710.
5. Lemeshow S, Le Gall JR. Modeling the severity of illness of ICU patients. A systems update. JAMA 1994; 272: 1049-1055.
6. Zygun DA, Laupland KB, Fick GH, Sandham JD, Doig CJ. Limited ability of SOFA and MOD scores to discriminate outcome: a prospective evaluation in 1,436 patients. Can J Anesth 2005; 52: 302-308.
7. Kajdacsy-Balla Amaral AC, Andrade FM, Moreno R, Artigas A, Cantraine F, Vincent JL. Use of the sequential organ failure assessment score as a severity score. Intensive Care Med 2005; 31: 243-249. doi: 10.1007/ s00134-004-2528-6.
8. Cabré L, Mancebo J, Solsona JF, et al. Bioethics Working Group of the SEMICYUC. Multicenter study of the multiple organ dysfunction syndrome in intensive care units: the usefulness of Sequential Organ Failure Assessment scores in decision making. Intensive Care Med 2005; 31: 927-933. doi: 10.1007/s00134-005-2640-2.
9. Juneja D, Singh O, Nasa P, Dang R. Comparison of newer scoring systems with the conventional scoring systems in general intensive care population. Minerva Anestesiol 2012; 78: 194-200.
10. Granholm A, Møller MH, Krag M, Perner A, Hjortrup PB. Predictive Performance of the Simplified Acute Physiology Score (SAPS) II and the Initial Sequential Organ Failure Assessment (SOFA) Score in acutely ill intensive care patients: post-hoc analyses of the SUP-ICU Inception Cohort Study. PLoS One 2016; 11: e0168948, doi: 10.1371/journal.pone.0168948.
11. Ho KM, Lee KY, Williams T, Finn J, Knuiman M, Webb SA. Comparison of Acute Physiology and Chronic Health Evaluation (APACHE) II score with organ failure scores to predict hospital mortality. Anaesthesia 2007; 62: 466-473. doi: 10.1111/j.1365-2044.2007.04999.x.
12. Timsit JF, Fosse JP, Troché G, et al. OUTCOMEREA Study Group, France. Calibration and discrimination by daily Logistic Organ Dysfunction scoring comparatively with daily Sequential Organ Failure Assessment scoring for predicting hospital mortality in critically ill patients. Crit Care Med 2002; 30: 2003-2013. doi: 10.1097/00003246-200209000-00009.
13. Naqvi IH, Mahmood K, Ziaullaha S, Kashif SM, Sharif A. Better prognostic marker in ICU – APACHE II, SOFA or SAP II. Pak J Med Sci 2016; 32: 1146-1151. doi: 10.12669/pjms.325.10080.
14. Faruq MO, Mahmud MR, Begum T, et al. A comparison of severity systems APACHE II and SAPS II in critically ill patients. Bangladesh Crit Care 2013; 1: 27-32. doi: 10.3329/bccj.v1i1.14362.
15. Pettilä V, Pettilä M, Sarna S, Voutilainen P, Takkunen O. Comparison of multiple organ dysfunction scores in the prediction of hospital mortality in the critically ill. Crit Care Med 2002; 30: 1705-1711. doi: 10.1097/00003246-200208000-00005.
16. Livingston BM, Mackenzie SJ, MacKirdy FN, Howie JC. Should the pre-sedation Glasgow Coma Scale value be used when calculating Acute Physiology and Chronic Health Evaluation scores for sedated patients? Scottish Intensive Care Society Audit Group. Crit Care Med 2000; 28: 389-394. doi: 10.1097/00003246-200002000-00017.
17. Sawicka W, Owczuk R, Wujtewicz MA, Wujtewicz M. The effectiveness of the APACHE II, SAPS II and SOFA prognostic scoring systems in patients with haematological malignancies in the intensive care unit. Anaesthesiol Intensive Ther 2014; 46: 166-170. doi: 10.5603/ AIT.2014.0030.
18. Pietraszek-Grzywaczewska I, Bernas S, Łojko P, Piechota A, Piechota M. Predictive value of the APACHE II, SAPS II, SOFA and GCS scoring systems in patients with severe purulent bacterial meningitis. Anaesthesiol Intensive Ther 2016; 48: 175-179. doi: 10.5603/AIT.a2016.0030.
19. Sekulic AD, Trpkovic SV, Pavlovic AP, Marinkovic OM, Ilic AN. Scoring systems in assessing survival of critically ill ICU patients. Med Sci Monit 2015; 21: 2621-2629. doi: 10.12659/MSM.894153.
20. Adamski J, Goraj R, Onichimowski D, Gawlikowska E, Weigl W. The differences between two selected intensive care units located in central and northern Europe – preliminary observation. Anaesthesiol Intensive Ther 2015; 47: 117-124. doi: 10.5603/AIT.a2015.0010.
21. Seymour CW, Liu VX, Iwashyna TJ, et al. Assessment of clinical criteria for sepsis for the Third International Consensus Definitions for Sepsis and Septic Shock (Sepsis-3). JAMA 2016; 315: 762-774. doi: 10.1001/jama. 2016.0288.
This is an Open Access journal, all articles are distributed under the terms of the Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). License (http://creativecommons.org/licenses/by-nc-sa/4.0/), allowing third parties to copy and redistribute the material in any medium or format and to remix, transform, and build upon the material, provided the original work is properly cited and states its license.
© 2024 Termedia Sp. z o.o.
Developed by Bentus.