eISSN: 2720-5371
ISSN: 1230-2813
Advances in Psychiatry and Neurology/Postępy Psychiatrii i Neurologii
Current issue Archive Manuscripts accepted About the journal Scientific board Abstracting and indexing Subscription Contact Instructions for authors Publication charge Ethical standards and procedures
Editorial System
Submit your Manuscript
SCImago Journal & Country Rank
1/2019
vol. 28
 
Share:
Share:
Original paper

Associations of insight and treatment adherence with employment status of people with schizophrenia

Piotr Błądziński
1
,
Aneta Kalisz
1
,
Przemysław Adamczyk
2
,
Aleksandra Arciszewska
3
,
Dagmara Mętel
1
,
Artur Daren
1
,
Andrzej Cechnicki
1

1.
Department of Community Psychiatry, Chair of Psychiatry, Medical College, Jagiellonian University, Krakow, Poland
2.
Department of Psychophysiology, Institute of Psychology, Jagiellonian University, Krakow, Poland
3.
Department of Affective Disorders, Chair of Psychiatry, Medical College, Jagiellonian University, Krakow, Poland
Adv Psychiatry Neurol 2019; 28 (1): 21-33
Online publish date: 2018/12/28
Article file
Get citation
 
PlumX metrics:
 

INTRODUCTION

Our main interest was in patients who seem to make a good impression. They follow psychiatrists prescriptions and/or are highly aware of their illness and yet they are not able to maintain or even find a job. Sigmund Freud wrote that in order to be happy, one needs to be able to love and work [1]. Whereas a psychiatrist is not able to help their patient with the first activity, they should be highly aware of the other one. Work is not only a form of therapy itself, but also its expected, yet non-specific result. A specific role of work may be observed in patients with longstanding course of schizophrenia, where work brings stability [2].
Schizophrenia patients without full remissions of symptoms have significant problems with social and professional functioning. In the course of their therapy, two phenomena are desired: good adherence to medication and high level of insight. Adherence to medication is defined in this study as adherence [3]. Insight, defined in literature as a multidimensional phenomenon (clinical, phenomenological, cognitive, psychodynamic and neurological) [4], is in this study defined as one dimensional, with consideration of its subjective context, as suggested by researchers outside of western culture [5].
Whereas most publications prove relationship between adherence and most desired treatment results of schizophrenia [6] analysis of insight is less unambiguous, as insight is often correlated with depression [7-9]. Available research on work shows some associations between engagement in work and adherence [10] and ability to maintain a job and insight [11].
This study compares two groups of patients: the group of employed (Occupational Therapy Workshops – OTW) and the group of unemployed (Social Firm – SF), both undergoing psychiatric rehabilitation programme, with regard to four aspects:
1) clinical, cognitive and social functioning;
2) relationship between insight and adherence to treatment;
3) relationship between insight and clinical, cognitive and social functioning;
4) relationship between adherence to medication and clinical, cognitive and social functioning.
The research problems formulated in this way were attempted to be described by comparing two groups of patients: working and non-working, but included in the psychiatric rehabilitation programme.

METHODS

Study group

The study included 51 persons divided in two groups: 22 persons employed in “Hotel u Pana Cogito” Social Firm (SF); 29 participants of Occupational Therapy Workshops (OTW), who receive a small motivational allowance for their participation in the workshops. Both institutions are located in Krakow, Poland and provide care based on a psychotherapeutic approach implemented in a local community context, carried out within a network of institutions and providing continuity of care and employment in Krakow [12, 13]. All participants of the study are patients with longstanding course of schizophrenia diagnosed with DSM-V.
The descriptive statistics for the sample, presented as mean ± standard deviation, are as follows: the mean age of study participants was 42.1 ± 8.9 years (OTW: 40.3 ± 8.1 vs. SF: 43.9 ± 9.6; t = 1.40, p = 0.166). Women made up 43% of the sample (22 persons), men – 57% (29 persons) and there were no significant differences in sex distribution between both subgroups (OTW: 11 women, 18 men vs. SF: 11 women, 11 men; χ2 = 0.74, p = 0.388). The mean number of years of education was 14.5 ± 2.9 and it did not differ between subgroups (OT: 14.9 ± 3.0 vs. SF: 14.0 ± 2.8; t = −1.01, p = 0.315).

Tools

The level of insight was assessed by two tools. Objective measure of insight by item G12 of PANSS (Positive and Negative Syndrome Scale) [14] and subjective measure by a self-assessment, using “My thoughts and feelings” 6-point insight questionnaire [15]. Adherence to medication was measured by MARS (Medication Adherence Rating Scale) [16]. General symptom severity was assessed by PANSS, analysed with specification van der Gaag 5 – factor model [17]. Negative dimension was additionally assessed by BNSS (Brief Negative Symptom Scale) [18]. General functioning was assessed by GAF (Global Assessment of Functioning) Scale [19] and SOFAS (Social and Occupational Functioning Assessment Scale) [20]. Cognitive functions were evaluated by the following: MoCA (Montreal Cognitive Assessment) [21] – general cognitive functioning, RAVLT (Rey Auditory Verbal Learning Test) [22] – verbal memory, RHLB (Right Hemisphere Language Battery) [23] – language and communicative functions, ToH (Tower of Hanoi) task [24] – executive functions. Antipsychotic doses were converted to chlorpromazine equivalent [25]. The research was conducted with the consent of the Bioethics Committee at the Collegium Medicum of Jagiellonian University in Krakow.

Statistical analyses

The quantitative variables were analyzed with the t-Student test or the Mann-Whitney U test, dependent on distribution. Spearman’s rank correlation coefficient was employed to measure correlation between continuous and/or ordinal variables. Qualitative variables were compared using the χ2 test. The significance level was set to α = 0.05. All calculations were performed using STATISTICA 13.1.

RESULTS

Comparison of the clinical, cognitive and social effects of the course of the illness between employed participants and unemployed participants

There have been no significant differences between SF (employed participants) and OTW (unemployed participants) in antipsychotic doses and characteristics of the course of the illness. The group of employed participants had longer average duration of illness, more episodes and higher number of hospitalisations, but differences were insignificant. There were no significant differences between the groups in general cognitive functioning scales, although the group of employed participants had slightly higher results. The group of employed participants had significantly better results in symptom severity and general and social functioning (Table 1).

Relationship between insight and adherence

No significant relationship was discovered between adherence to treatment and insight assessed by item G12 PANSS and self-assessment insight questionnaire (Table 2).

Relationship between insight and clinical, cognitive and social effects of the course of the illness between employed and unemployed groups

The employed participants group had significantly better insight, both subjectively and objectively assessed (Table 1). A positive correlation between two different methods of insight assessment was observed (R = 0.428, p = 0.002).
Correlations between insight and the following variables were evaluated: duration of illness, number of episodes, number of hospitalisations, years of education, general intensity in PANSS, symptom intensity in PANSS according to van der Gaag 5-factor model, BNSS, level of functioning GAF and SOFAS, medication dose and cognitive functioning scales. Among all analysed sociodemographic and clinical factors, only in the OTW group subjective insight had negative correlation with years of education. Significant inter-group differences were observed in analysis of relationship between insight and symptoms, cognitive functions and general functioning. In the unemployed participants group (OTW) lower insight measured by item G12 PANSS, was related to lower level of general functioning and much higher number of clinical symptoms and cognitive impairments than in the employed participants group (SF) (Table 3).

Correlations between adherence and clinical, cognitive and social effects of the course of the illness in employed and unemployed groups

No significant difference in adherence to medication between groups was observed (Table 1). In both groups adherence to medication was not related to any other sociodemographic variables. A single positive correlation with disorganization syndrome was observed in the employed participants group (SF). In the unemployed participants group, level of adherence was related to symptom intensity in PANSS and traits of cognitive distortions (Table 4).

DISCUSSION

The study findings revealed that the most important factors which may be associated with employment status in schizophrenia were related to better insight, lesser symptom severity and better general and social functioning, whereas adherence seemed to be irrelevant.
Employed participants (SF) had lower level of symptoms (general, positive, negative and disorganised) and higher level of social and professional functioning. It needs to be stressed however, that all participants in the study were patients with diagnosis of longstanding, severe schizophrenia, with multiple relapses and hospital readmissions (more in the employed group). It is worth mentioning, that employed participants had similar, relatively high, dose of medications to unemployed participants. It may suggest that employed participants are not ones with less severe schizophrenia, and that severe course of psychosis does not take away the chance to work. There were no significant differences between the groups in general cognitive functioning what is in line with our previous findings [26]. Although insignificant, better results of the SF group in cognitive functioning are in line with the results of McGurk et al. [27]. Insight and adherence in the studied group
Differently to most studies [6], an apparently obvious relationship between insight and adherence was not observed. Linden et al. [28] explain similar lack of clear correlation by the fact that more cooperative patients are selected at the stage of inclusion, as the researchers have the tendency to engage more cooperative patients into the study. It may be due to the contents of the MARS scale, which checks to what extent subjects are willing to admit non-adherence to treatment, with some questions referring to subjective perception of side effects. Therefore, answers in the MARS scale may be more reliable in patients with better insight and lower denial tendencies. In fact, the sample considered in this study was engaged in some form of work and therefore was non-representative to schizophrenia; i.e. 22 participants (43% of the sample) are employed, whereas some of the remaining 29 participants aspire to be, as the main aim of Occupational Therapy Workshops is to prepare its participants for further employment. Meanwhile statistics in western culture show that the employment level in patients with schizophrenia varies between 10–20% [29, 30]. General conclusion for insight is simple: the less severe symptoms result in the better insight. Namely, the employed participants had higher insight (objective and subjective), with no significant difference in adherence. The level of insight in the whole group (measured by item G12 PANSS and subjective scale) was relatively high, whereas in the employed participants group (SF) it did not reach clinical level of PANSS scale. Therefore our results confirm those of Erickson et al. [11]. Patients who are employed or participate in occupational therapy function in a concrete setting and are under constant professional observation, developing fewer acute psychotic symptoms. Moreover, they have a number of “bringing to reality” experiences that may be considered as insight-promoting.
Correlation between the insight assessed with G12 PANSS item and with self-assessment insight questionnaire, which had been mentioned by the authors of the second tool [15] was confirmed. It is good news considering contemporary efforts to make scientific results objective and operationalised [31]. The patient’s subjective opinion may be evaluated and interpreted in a reliable way in reference to objective assessment of a specialist, whereas the very application of self-assessment questionnaire gives the patient the feeling that their opinion on a delicate issue of sense of illness is respected.
On the other hand, the adherence on MARS scale was relatively low in the whole group. Many studies [6] inform about partial adherence in schizophrenia treatment, and our results confirm it. It is interesting that insignificantly lower level of adherence was observed in better functioning, employed participants group. How does one explain that? This is a group of more autonomous, self-reliant people, who often live independently, and this may influence their answers to MARS items, which we commented on above. Participants of the OTW group are mainly patients with limited autonomy or even fully dependent.
Their adherence to medication is often controlled by relatives. Despite intensive therapeutic work they are often unable to manage their medication, therefore the MARS scale might not reflect their real experience.

Employment and insight

Analysis of insight in patients with chronic schizophrenia reveals its three characteristic properties. Firstly, insight level is higher in the employed group. Secondly, in the employed group, insight level is less often related to severity of clinical symptoms and cognitive disorders than in the unemployed group. Considering the fact that participants employed in SF are often former participants of OTW, it may be hypothesised that patients who get employed are less engulfed with experience of illness and more task oriented. This may also be suggested by general functioning (GAF) and professional functioning (SOFAS) results, where lower insight was related to lower functioning in the unemployed group. Relationships between insight and psychopathology in the whole group and specifically in the OTW subgroup in our study are in line with results of other studies presented in literature [9]. The only differing result was lack of relationship between insight and emotional dimension (depression and anxiety). This relationship was rare in other authors, and when it was present [32] it was explained by the specific moment of study (most participants were patients in acute phase of illness, when depression is of lower significance). In our study, the severity of symptoms in emotional dimension was also low as subjects were, in fact, in partial remission phase, but it was not a result of acute psychosis when depression is most common. Thirdly, the level of severity of psychopathological symptoms and cognitive deficits is more often correlated with the objective measure of insight. This is not surprising, as authors of the subjective measure underline that it does not measure the same aspect of insight as item G12 of PANSS [15]. An interesting observation shows negative correlation between self-assessment of insight and number of years of education in the unemployed group (OTW). Patients with a longer education have lower insight.
The results of our study concern the interesting relationship between insight and cognitive functions assessment. They confirm a number of earlier results [8, 33-35]. Lower insight (specifically in item G12 PANSS) in the whole OTW group correlated with higher cognitive deficits: general cognition (MoCA), verbal memory (RAVLT), communication and language skills (general result in RHLB and its sub-tests: discourse, language prosody, humour) and executive functioning (ToH). Interestingly, no such relationships were observed in the employed patients group (SF). This might be the essence of the issue: in the context of insight, it is cognitive functions that define the ability to work, and insight corresponds with good cognitive efficiency and lowered symptom severity. However, this conclusion needs to be prudent, as level of insight in employed group was within the limits of normal range. Moreover, what is the most intriguing, there was no difference between the employed and unemployed groups in cognitive functioning (i.e. cognitive deficits were revealed in both groups). It is possible that cognitive deficits reduce in part the chance for employment, which is clinically reflected by insight impairments. On the other hand, the relation of insight to specific pragmatic language abilities revealed in this study (i.e. G12 PANSS & RHLB correlation) is in line with our previous findings on vocational activity in schizophrenia outpatients [26]. These findings indicate, that good insight along with efficient communication should be taken into consideration when concerning the main characteristics on patients ability to work. Nevertheless, insight may be analysed from the perspective of the patient – doctor relationship. Patients may have declared good insight in order to maintain a good interpersonal relation with their doctor. Similar ability is necessary to maintain good relations with colleagues at work. In this case, insight could be a measure of social adaptation, with higher results meaning better adaptation. After all, cooperation with psychiatrists is necessary, its objectives are desired and it is required to maintain sheltered employment. Even if the patient sometimes has different opinions, they want to keep the relationship.

Employment and adherence

In the group of employed patients, adherence was only related to higher level of excitement in the PANSS scale. It can be concluded, that more anxious or impulsive patients must pay more attention to regular medication to be able to work. Contrary to employed patients, in unemployed patients, lower adherence was related to cognitive disorders. This indicates that lower adherence may result from forgetfulness or distraction, which suggests its unintentional nature confirming results of Acosta et al. [36].

SUMMARY

In clinical practice, it is clear that patients without insight into psychosis have more difficulties being approved by employers already at the stage of qualification to sheltered employment. Lack of adherence to medication is often “invisible”, and it does not provoke as much distance or even fear, as lack of insight. Lack of adherence to medication is not equal lack of cooperation at work. Results of our study show, that in the course of schizophrenia, adherence to treatment does not predict the ability to become and remain employed. On the other hand, the level of subjective measure of insight may be of significance to employment.
We studied the differences between the group of employed and the group of unemployed in eight areas: social- demographic data, course of illness, pharmacotherapy (medication dose), severity of symptoms, level of general and professional functioning, cognitive functioning, insight and adherence to treatment. Among analysed areas, only three were specifically different in the group of employed patients: severity of symptoms, level of professional functioning and insight. One needs to remember that employed participants get more points in functioning scales, so this correlation is self-explanatory to some degree. Can we say that better insight facilitates employment? Clinical practice shows reverse correlation – the fact of being employed may facilitate insight via experiences that “connect with reality”. Similar conclusions may be found in literature [37]. In our study, many of the subjects employed in SF are former participants of OTW, who, at some stage of their life, were able to get permanent employment. On the other hand, part of the OTW participants are people who, despite many attempts, were not able to work at a regular basis. A conclusion that ability to work and insight are promoted by the same factors seems to be grounded. From this perspective, cognitive deficits and increased symptoms would reduce the chance of employment and insight in schizophrenia.
What practical conclusions can be drawn from the results of this study? Patients who are encouraged to receive rehabilitation through work, do not have to adhere to medication perfectly, and more effort should be directed to the lack of awareness of the illness. The assessment of patients’ cognitive and communication skills before directing them to work will enable to evaluate their cognitive competence and define an appropriate type of employment.
A limitation of our study, given the context of the analysed phenomena, is its one-time assessment. A higher level of insight found among the employed does not enable to determine whether having a job entails better insight or whether study participants with better insight were more willing to work. A similar issue concerns lower symptom severity among the employed. Lacking assessment from the time before being employed limits to some degree the scope of inferences.

CONCLUSIONS

1. Subjective assessment of insight measured by “My thoughts and feelings” self-assessment questionnaire correlates with its objective assessment by PANSS scale.
2. Higher level of insight, lesser symptom severity and general and better social functioning are associated with employment, whereas adherence to medication is not.

WSTĘP

Nasze szczególne zainteresowanie budzą ci pacjenci, którzy sprawiają „dobre wrażenie”: stosują się do zaleceń lekarskich i/lub posiadają w znacznym stopniu świadomość choroby, a pomimo to nie udaje im się utrzymać, a niejednokrotnie nawet podjąć pracy. Zygmunt Freud powiedział, że człowiek, aby był szczęśliwy, musi mieć miłość i pracę [1]. O ile psychiatra nie jest w stanie spełnić w stosunku do swojego pacjenta tego pierwszego warunku, o tyle powinien mieć na uwadze ten drugi. Praca jest nie tylko formą terapii, ale często też oczekiwanym, choć niespecyficznym, jej wynikiem. Szczególna rola pracy ujawnia się w przypadku pacjentów z wieloletnim przebiegiem schizofrenii – praca wprowadza stabilność [2].
Osoby, u których schizofrenia przebiega bez pełnych remisji, mają znaczne problemy z funkcjonowaniem społecznym i zawodowym. W ich terapii szczególny nacisk kładzie się na dwa pożądane zjawiska: dobrą współpracę w leczeniu farmakologicznym i wysoki poziom wglądu. Współpracę w leczeniu w niniejszym badaniu zdefiniowano jako adherence [3]. Z kolei wgląd, który w literaturze definiowany jest wielowymiarowo (klinicznie, fenomenologicznie, poznawczo, psychodynamicznie i neurologicznie) [4], w prezentowanej pracy oceniono jednowymiarowo, ale z uwzględnieniem jego kontekstu subiektywnego, jak to sugerują badania spoza zachodniego kręgu kulturowego [5].
O ile w przypadku współpracy w leczeniu przeważająca część publikacji dowodzi związku dobrej współpracy z większością pożądanych wyników leczenia schizofrenii [6], o tyle w analizie wglądu sytuacja nie jest tak jednoznaczna, choćby z powodu częstej korelacji wglądu z depresją [7–9]. Dostępne badania na temat pracy wskazują na pewne zależności pomiędzy zaangażowaniem pacjenta w pracę a współpracą w leczeniu [10] oraz zdolnością utrzymania pracy a wglądem [11].
W niniejszym badaniu dokonano porównania grupy uczestników warsztatów terapii zajęciowej (WTZ) z grupą uczestników zakładu aktywizacji zawodowej (ZAZ) w czterech obszarach:
1) porównanie klinicznych, poznawczych i społecznych wyników przebiegu choroby;
2) ocena związku wglądu i współpracy w leczeniu farmakologicznym;
3) ocena związku wglądu z klinicznymi, poznawczymi i społecznymi wynikami przebiegu choroby;
4) ocena związku współpracy w leczeniu farmakologicznym z klinicznymi, poznawczymi i społecznymi wynikami przebiegu choroby.
Tak sformułowane problemy badawcze spróbowano opisać, porównując dwie grupy pacjentów: pracujących i niepracujących, ale objętych programem rehabilitacji psychiatrycznej.

METODY

Badana grupa

Badanie było jednopunktowe i obejmowało łącznie 51 osób. Pierwsza grupa (n = 22) to osoby zatrudnione w Zakładzie Aktywizacji Zawodowej „Hotel u Pana Cogito” (ZAZ). Druga grupa (n = 29) to uczestnicy warsztatów terapii zajęciowej (WTZ), którzy za swoje uczestnictwo w terapii zajęciowej pobierają niewielką, motywującą zapomogę. Obie instytucje znajdują się w Krakowie i zapewniają opiekę opartą na podejściu psychoterapeutycznym, wdrażanym w kontekście lokalnej społeczności i przeprowadzanym w ramach sieci instytucji zapewniających ciągłość opieki i zatrudnienia w Krakowie [12, 13]. Wszyscy badani to osoby z wieloletnim przebiegiem schizofrenii (diagnoza wg kryteriów DSM-V).
Statystyki opisowe dla prób, zapisane jako średnia ± odchylenie standardowe, przedstawiają się następująco: średni wiek badanych wynosił 42,1 ± 8,9 roku (WTZ: 40,3 ± 8,1; ZAZ – 43,9 ± 9,6; t = 1,40; p = 0,166). Kobiety stanowiły 43% (22 osoby), a mężczyźni – 57% (29 osób), przy braku różnic rozkładu płci w grupie niepracującej (WTZ: K – 11, M – 18) i pracującej (ZAZ: K – 11, M – 11); χ2 = 0,74; p = 0,388. Średni czas edukacji wynosił 14,5 ± 2,9 roku i nie różnił się istotnie w podgrupach (WTZ: 14,9 ± 3,0; ZAZ: 14,0 ± 2,8; t = −1,01; p = 0,315).

Narzędzia

Do oceny poziomu wglądu używano dwóch skal. Obiektywną ocenę stanowiła pozycja G12 skali PANSS (Positive and Negative Syndrome Scale) [14], natomiast subiektywnie pacjent dokonywał samooceny za pomocą 6-punktowej skali wglądu „Moje myśli i odczucia” [15]. Współpracę w leczeniu farmakologicznym oceniano skalą MARS (Medication Adherence Rating Scale) [16]. Narzędziem oceny ogólnego nasilenia objawów psychopatologicznych była skala PANSS, a w jego analizie wyodrębniono wymiary objawowe według 5-wymiarowego modelu van der Gaaga [17]. Wymiar negatywny dodatkowo oceniony został za pomocą skali BNSS (Brief Negative Symptom Scale) [18]. Do oceny funkcjonowania użyto skali GAF (Global Assessment of Functioning) [19] i SOFAS (Social and Occupational Functioning Assessment Scale) [20]. Oceny funkcji poznawczych dokonano za pomocą testów: MoCA (Montreal Cognitive Assessment) [21] – ogólne funkcjonowanie poznawcze, RAVLT (Rey Auditory Verbal Learning Test) [22] – ocena pamięci, RHLB (Right Hemisphere Language Battery) [23] – funkcje językowe i komunikacyjne, ToH (Tower of Hanoi) [24] – funkcje wykonawcze. Wysokość dawek leków przeciwpsychotycznych przeliczono na ekwiwalent chlorpromazyny [25]. Badanie zostało przeprowadzone po uzyskaniu pozytywnej opinii Komisji Bioetycznej Collegium Medicum Uniwersytetu Jagiellońskiego.

Analiza statystyczna

Porównanie zmiennych ilościowych, w zależności od rozkładu zmiennych, przeprowadzono przy użyciu testów t-Studenta lub U Manna-Whitneya. Do zbadania związków pomiędzy skalami ciągłymi i/lub porządkowymi użyto współczynnika korelacji R Spearmana. Porównania pomiędzy zmiennymi o charakterze jakościowym wykonano za pomocą testu χ2. Przyjęty poziom istotności wynosił α = 0,05. Wszystkich obliczeń dokonano w programie STATISTICA 13.1.

WYNIKI

Porównanie klinicznych, poznawczych i społecznych wyników przebiegu choroby w grupie pracującej i niepracującej

Grupa pracująca (ZAZ) i niepracująca (WTZ) nie różniły się istotnie pod względem dawki leków i cech przebiegu choroby. Grupa pracująca cechowała się co prawda dłuższym średnim czasem chorowania, większą liczbą epizodów i hospitalizacji, ale nie były to różnice istotne. Nie ujawniły się także istotne różnice w skalach ogólnych testów oceniających funkcje poznawcze, choć na ogół nieco lepsze wyniki osiągała grupa pracująca. Natomiast znacząco lepsze wyniki osiągnęła grupa pracująca w obszarze objawowym oraz funkcjonowania ogólnego i społecznego (tab. 1).

Związek wglądu i współpracy w leczeniu farmakologicznym

Nie wykazano istotnego związku pomiędzy współpracą w leczeniu a wglądem ocenianym za pomocą pozycji G12 PANSS i kwestionariusza samooceny wglądu (tab. 2).

Związek wglądu z klinicznymi, poznawczymi i społecznymi wynikami przebiegu choroby w grupie pracującej i niepracującej

Grupa pracująca posiadała istotnie lepszy wgląd oceniany zarówno obiektywnie, jak i subiektywnie (tab. 1). Ponadto odnotowano pozytywną korelację tych dwu różnych ocen wglądu (R = 0,428; p = 0,002). Sprawdzono korelacje wglądu ze zmiennymi: czas choroby, liczba epizodów, liczba hospitalizacji, lata wykształcenia, ogólne nasilenie w PANSS, nasilenie objawów w 5 wymiarach PANSS wg van der Gaaga, BNSS, poziom funkcjonowania GAF i SOFAS, dawka leków i skale poznawcze. Spośród analizowanych czynników społeczno-demograficznych i klinicznych jedynie w grupie WTZ wgląd subiektywny ujemnie korelował z długością okresu edukacji. Istotne różnice międzygrupowe ujawniły się w analizie związku wglądu z objawami, funkcjami poznawczymi i funkcjonowaniem. W grupie niepracującej (WTZ) gorszy wgląd, szczególnie w ocenie pozycją G12 PANSS, wiązał się z gorszym poziomem funkcjonowania oraz ze znacznie większą liczbą objawów klinicznych i zaburzeń poznawczych niż w grupie pracującej (ZAZ) (tab. 3).

Związek współpracy w leczeniu farmakologicznym z klinicznymi, poznawczymi i społecznymi wynikami przebiegu choroby w grupie pracującej i niepracującej

Nie wykazano istotnej różnicy we współpracy w leczeniu farmakologicznym między badanymi grupami (tab. 1). W obu grupach współpraca w leczeniu farmakologicznym nie była powiązana z żadną ze zmiennych społeczno-demograficznych. W grupie pracującej (ZAZ) odnotowano pojedynczą dodatnią korelację z wymiarem pobudzenia wg van der Gaaga. W grupie niepracującej stopień współpracy w leczeniu wiązał się z nasileniem objawów w skali PANSS, a także z cechami zaburzeń poznawczych (tab. 4).

DYSKUSJA

Badanie wykazało, iż podstawowe czynniki powiązane ze statusem zatrudnienia u osób chorujących na schizofrenię korelowały z lepszym wglądem, mniejszym nasileniem objawów oraz lepszym ogólnym i społecznym funkcjonowaniem, podczas gdy współpraca w leczeniu okazała się nieistotna.
Osoby pracujące miały mniej nasilone objawy (ogólne, a także wymiar pozytywny, negatywny i dezorganizacji) oraz wyższy poziom funkcjonowania społecznego i zawodowego. Jednak wszyscy badani (zarówno pracujący, jak i niepracujący) to osoby o ciężkim, wieloletnim przebiegu schizofrenii, mające za sobą często wiele nawrotów i hospitalizacji (grupa pracująca nawet więcej). Co ciekawe, osoby pracujące zażywały podobną – dość wysoką – dawkę leków, tak jak osoby niepracujące. Wyniki te mogą sugerować, że osoby pracujące to nie są ci chorujący na schizofrenię, którzy są mniej doświadczeni chorobą, a ogólnie pojmowany ciężki przebieg psychozy nie odbiera szansy na zatrudnienie. Obie grupy nie różniły się także istotnie pod względem ogólnej oceny funkcji poznawczych, co byłoby zgodne z wynikami poprzednich badań [por. 26]. Choć nie osiągnęły poziomu istotności, lepsze wyniki funkcji poznawczych u grupy pracującej potwierdzałyby wyniki uzyskane przez McGurk i wsp. [27].

Wgląd i współpraca w badanej grupie

Inaczej niż w większości badań [6], nie odnotowano dość oczywistego związku pomiędzy wglądem a współpracą w leczeniu. Linden i wsp. [28] tłumaczą brak takiej wyraźnej zależności możliwością zaistnienia selekcji na etapie włączenia do badania bardziej współpracujących pacjentów, co z kolei może być wynikiem skłonności badaczy do angażowania pacjentów kooperujących. Być może jest to kwestia samej zawartości skali MARS, która sprawdza, na ile osoba badana jest w stanie się przyznać do unikania zażywania leków, a z kolei część pytań odnosi się do subiektywnego odczuwania ich działań ubocznych. W tym świetle skalę MARS mogą bardziej rzetelnie wypełniać pacjenci z lepszym wglądem i z mniejszymi tendencjami do zaprzeczania. W niniejszym badaniu w istocie badano podgrupę pracującą, a więc niereprezentatywną dla schizofrenii – 22 osoby (43% całej grupy) pracują, a część z pozostałych 29 badanych ma aspiracje podjęcia pracy, gdyż podstawowym zadaniem WTZ jest przygotowanie do zatrudnienia. Tymczasem statystyki podają zatrudnienie chorujących na schizofrenię na poziomie 10–20% w zachodnim kręgu kulturowym [29, 30].
Ogólny obraz wglądu można opisać krótko: im słabsze objawy, tym lepszy wgląd. Grupa pracująca miała lepszy wgląd (obiektywny i subiektywny), ale nie różniła się istotnie poziomem współpracy w leczeniu. Poziom wglądu w całej grupie kształtował się na stosunkowo wysokim poziomie (w ocenie pozycją G12 PANSS i w skali subiektywnej), a w grupie pracującej (ZAZ) nie osiągnął nawet w pełni klinicznego poziomu w skali PANSS. Niniejsze wyniki potwierdzają zatem rezultaty badań Erickson i wsp. [11]. Pacjenci pracujący i objęci terapią zajęciową to grupa działająca wg stałego harmonogramu i pozostająca pod stałą obserwacją profesjonalistów, przez co dochodzi u nich rzadziej do rozwoju ostrych objawów psychotycznych. Ponadto mają wiele doświadczeń „urealniających”, co może być swego rodzaju pracą nad wglądem.
Potwierdzono ponadto korelację wglądu w ocenie pozycją G12 PANSS i w kwestionariuszu samooceny wglądu, o czym pisali autorzy tego drugiego narzędzia [15]. Przy wszechobecnym dążeniu w nauce do obiektywizacji i operacjonalizacji zjawisk to dobra wiadomość [31]. Subiektywna opinia pacjenta ma szansę zostać rzetelnie oceniona i zinterpretowana w odniesieniu do obiektywnej opinii specjalisty, a samo użycie kwestionariusza samooceny wglądu daje pacjentowi poczucie, że jego zdanie w kwestii tak wrażliwej, jak poczucie choroby, jest szanowane.
Z kolei poziom współpracy badanej skalą MARS był stosunkowo niski w całej grupie. O takiej niepełnej współpracy w leczeniu schizofrenii donosi wielu badaczy [6], a niniejsze wyniki to potwierdzają. Co ciekawe, nieistotnie niższy poziom współpracy odnotowano w lepiej funkcjonującej grupie pracującej. Jak to tłumaczyć? Jest to grupa złożona z osób częściej autonomicznie o sobie decydujących, często żyjących samodzielnie i fakt ten może mieć wpływ na udzielane przez nie odpowiedzi w kwestionariuszu MARS, co omówiono powyżej. Dla porównania grupa WTZ to przeważnie pacjenci w ograniczonym stopniu samodzielni lub nawet niesamodzielni. W kwestii zażywania leków bywają oni pilnowani przez bliskich. Pomimo pracy terapeutycznej często nie są zdolni do przejęcia kontroli nad zażywaniem leków, stąd wypełniany przez tych pacjentów kwestionariusz MARS może nie oddawać ich rzeczywistego doświadczenia.

Praca a wgląd

Analiza wyników wglądu w grupie przewlekle chorujących na schizofrenię wskazuje na trzy jego cechy. Po pierwsze, wgląd osiąga wyższy poziom w grupie pracującej. Po drugie, w grupie osób pracujących znacznie rzadziej wiąże się on z nasileniem objawów klinicznych czy zaburzeń poznawczych niż w grupie niepracujących. Biorąc pod uwagę to, że osoby zatrudnione w ZAZ często startowały z pozycji uczestnika WTZ, może to oznaczać, że do pracy idą ci mniej pochłonięci doświadczeniem chorowania, a bardziej zdolni, by zorientować się na zadanie. Sugerować to zresztą może też wynik dotyczący funkcjonowania ogólnego (GAF) i zawodowego (SOFAS): gorszy wgląd wiązał się z gorszym funkcjonowaniem w grupie niepracującej. Zbadane związki wglądu z psychopatologią w całej grupie, a szczególnie w grupie WTZ, potwierdzają na ogół dostępne wyniki badań w literaturze [9]. Jedynym wyraźnym odstępstwem był tu brak związku wglądu z wymiarem emocji (depresji i lęku). Inni autorzy rzadko uzyskiwali taki wynik, a ci, którzy uzyskali [32], tłumaczyli to momentem badania (np. większość badanych stanowili pacjenci w ostrej fazie choroby, kiedy depresja ma mniejsze znaczenie). W przypadku niniejszego badania nasilenie zaburzeń w wymiarze emocjonalnym było także na niskim poziomie, bo badani znajdowali się w fazie co prawda niepełnej remisji, ale jednocześnie niebędącej następstwem ostrej psychozy, kiedy to najczęściej pojawia się depresja. Po trzecie, nasilenie objawów psychopatologicznych i deficytów poznawczych częściej jest skorelowane z wglądem ocenianym obiektywnie. To nie dziwi, gdyż sami twórcy subiektywnego narzędzia piszą o tym, że nie bada ono dokładnie tego samego aspektu wglądu co pozycja G12 skali PANSS [15]. Ciekawostką jest fakt odwrotnej korelacji wyniku samooceny wglądu z długością okresu edukacji w grupie niepracującej (WTZ). Ci, którzy dłużej się uczyli, mają niższy wgląd.
Wyniki niniejszej pracy dotyczą interesującego powiązania wglądu i oceny funkcji poznawczych. Potwierdzają one wiele wcześniejszych wyników badań [8, 33–35]. Gorszy wgląd (szczególnie w ocenie pozycją G12 PANSS) w całej grupie i grupie WTZ korelował z większymi deficytami poznawczymi: z ogólną oceną funkcji poznawczych (MoCA), z oceną pamięci (RAVLT), z oceną funkcji komunikacyjnych i językowych (wynik ogólny RHLB i jego wymiary: dyskurs, prozodia językowa, humor) oraz z funkcjami wykonawczymi (ToH). Co ciekawe, nie stwierdzono takich zależności dla grupy pracującej (ZAZ). Być może tutaj jest sedno problemu: w kontekście wglądu o zdolności do pracy decydują funkcje poznawcze, a wgląd towarzyszy dobrej sprawności poznawczej i obniżonemu nasileniu objawów. Jest to jednak wniosek bardzo ostrożny, ponieważ wgląd w grupie pracującej oscylował na granicy normy. Ponadto, co najbardziej interesujące, grupa pracująca i niepracująca nie różniły się istotnie w ocenie funkcji poznawczych (tj. deficyty poznawcze stwierdzono w obu grupach). Być może deficyty poznawcze obniżają szansę na zatrudnienie, a ich klinicznym wyrazem jest zaburzenie wglądu. Z drugiej strony związek pomiędzy wglądem a konkretnymi zdolnościami językowymi, który wykazało niniejsze badanie (tzn. korelacja G12 PANSS i RHLB), potwierdza nasze uprzednie wyniki dotyczące aktywności zawodowej wśród pacjentów ze schizofrenią leczonych ambulatoryjnie [26]. Wskazuje to, że chcąc uwzględnić główne cechy dotyczące zdolności pacjenta do pracy,
winny być brane pod uwagę dobry wgląd oraz skuteczna komunikacja. Sam wgląd można też rozpatrywać w kategoriach interakcji pacjent–lekarz. Deklaracje wskazujące na wgląd mogły być bowiem podyktowane potrzebą podtrzymania dobrego, zgodnego kontaktu interpersonalnego, która to umiejętność jest żywotnie ważna także w pracy, w relacjach z kolegami. W takim ujęciu wgląd byłby niejako miarą przystosowania społecznego, z wyższymi wynikami wskazującymi na lepszą adaptację.
W końcu z lekarzem współpraca jest konieczna, ogólnie cel jej jest dobry i jest ona także warunkiem utrzymania pracy chronionej – nawet jeśli prywatnie pacjent ma czasem odrębne zdanie, warto ją podtrzymać.

Praca a współpraca w leczeniu farmakologicznym

W grupie pracującej współpraca wiązała się jedynie z wyższym wymiarem pobudzenia w skali PANSS. Można wnioskować, że pacjenci bardziej niespokojni czy impulsywni bardziej muszą dbać o regularne zażywanie leków, żeby utrzymać reżim pracy. U niepracujących gorsza współpraca wiązała się z obecnością zaburzeń poznawczych, a u pracujących – nie. Wynik ten wskazuje, że gorsza współpraca w zażywaniu leków może być przede wszystkim związana z zapominaniem czy roztargnieniem, a to sugeruje jej nieintencjonalny charakter i potwierdza wyniki badania Acosta i wsp. [36].

PODSUMOWANIE

W praktyce klinicznej jest oczywiste, że pacjent bez wglądu w psychozę ma większą trudność uzyskania aprobaty pracodawcy w czasie rozmowy kwalifikacyjnej, nawet na rynku pracy chronionej. Braku współpracy w zażywaniu leków „nie widać”, poza tym nie budzi ona u pracodawcy takiego dystansu czy nawet lęku, jak brak wglądu. Brak współpracy w leczeniu nie oznacza bowiem braku współpracy w miejscu zatrudnienia. Wyniki niniejszego badania pokazują, że w przebiegu schizofrenii współpraca w leczeniu farmakologicznym nie decyduje bezpośrednio o tym, czy pacjent będzie zdolny podjąć i utrzymać pracę. Natomiast wgląd, także oceniany subiektywnie, może mieć istotne znaczenie dla zatrudnienia.
Zbadano różnice pomiędzy grupą osób pracujących i niepracujących w ośmiu obszarach: dane społeczno-demograficzne, przebieg choroby, intensywność farmakoterapii (dawka leku), nasilenie objawów, funkcjonowanie ogólne i zawodowe, cechy poznawcze, wgląd i współpraca w leczeniu farmakologicznym. Spośród uwzględnionych w badaniu obszarów jedynie trzy, tj. nasilenie objawów, poziom funkcjonowania zawodowego i wgląd, bezpośrednio wyróżniały grupę osób pracujących. Tu trzeba jeszcze pamiętać, że w skalach funkcjonowania posiadanie pracy jest wyżej punktowane, zatem ten związek tłumaczy się częściowo sam. Czy można zatem zaryzykować stwierdzenie, że lepszy wgląd pozwala na zatrudnienie?
Z praktyki klinicznej znamy odwrotny kierunek tej zależności – posiadanie pracy może poprawiać poziom wglądu poprzez „urealnianie” pacjenta. Ponadto o takim wpływie donosi literatura [37]. Jednak w niniejszym badaniu grupa pracująca ZAZ to w dużej części uczestnicy WTZ, którzy na pewnym etapie zdrowienia zdolni byli podjąć i utrzymać pracę, natomiast grupa WTZ to w dużej części osoby, które na przestrzeni lat próbowały pracować, ale im się to nie udało. Wydaje się więc dopuszczalne stwierdzenie, że zdolność do pracy i do osiągania wglądu promują te same czynniki. W takim ujęciu deficyty poznawcze i nasilone objawy obniżałyby szansę na posiadanie pracy i na dobry wgląd w schizofrenii.
Jakie wskazówki praktyczne można wyprowadzić z omawianych tu wyników? Zachęcając pacjenta do rehabilitacji poprzez pracę, nie należy traktować zbyt poważnie jego wzorowego stosowania się do zaleceń w kwestii leków, natomiast warto pracować nad brakiem świadomości choroby. Z kolei wykonanie testów poznawczych przed wysłaniem pacjenta do pracy pozwoli ocenić, jakie kompetencje kognitywne posiada i na jakie zatrudnienie mu one pozwolą.
Ograniczeniem niniejszego badania w kontekście analizowanych zjawisk jest jego pojedynczy punkt pomiarowy. Wśród pracujących odnotowano wyższy poziom wglądu, jednak nie ustalono, czy to posiadanie pracy sprzyja lepszemu wglądowi, czy uczestnicy badania z lepszym poziomem wglądu chętniej podejmowali pracę. Podobnie rzecz wygląda z niższym nasileniem objawów wśród pracujących. Brakuje tu oceny sprzed podjęcia pracy, co ogranicza w pewnym stopniu możliwość wnioskowania.

WNIOSKI

1. Ocena subiektywna wglądu w schizofrenii kwestionariuszem samooceny „Moje myśli i odczucia” jest skorelowana z oceną obiektywną wglądu w skali PANSS.
2. Wgląd, obok nasilenia objawów oraz poziomu funkcjonowania ogólnego i społecznego, może mieć znaczenie dla zatrudnienia, podczas gdy współpraca w leczeniu farmakologicznym – nie.

Conflict of interest/Konflikt interesu

Absent./Nie występuje.

Financial support/Finansowanie

The research presented in the attached manuscript was founded from the research grant no. K/ZDS/005581 (2016) – an statutory grant of the Chair of Psychiatry, Collegium Medicum, Jagiellonian University in Krakow, Poland.
The research has been approved by Jagiellonian University Bioethics Committee, opinion number KBET/247/B/2014 from 27th November 2014./
Niniejsze badanie zostało sfinansowane z grantu badawczego nr K/ZDS/005581 (2016) – grant statutowy Katedry Psychiatrii, Collegium Medicum, Uniwersytet Jagielloński w Krakowie.
Badanie zostało zatwierdzone przez Komisję Bioetyczną Uniwersytetu Jagiellońskiego, nr opinii KBET/247/B/2014 z dnia 27 listopada 2014.

References/Piśmiennictwo

1. Freud S. Civilization and its discontents. Broadview Press: 2015.
2. Twamley EW, Jeste DV, Lehman AF. Vocational rehabilitation in schizophrenia and other psychotic disorders: a literature review and meta-analysis of randomized controlled trials. J Nerv Ment Dis 2003; 191: 515-523.
3. Friemann K, Wciórka J. Compliance – przeżytek czy termin użyteczny. Post Psychiatr Neurol 2008; 17: 367-375.
4. Ouzir M, Azorin JM, Adida M, Boussaoud D, Battas O. Insight in schizophrenia: From conceptualization to neuroscience. Psychiatry Clin Neurosci 2012; 66: 167-179.
5. Jacob KS. The assessment of insight across cultures. Indian J Psychiatry 2010; 52: 373-377.
6. Higashi K, Medic G, Littlewood KJ, Diez T, Granström O, De Hert M. Medication adherence in schizophrenia: factors influencing adherence and consequences of nonadherence, a systematic literature review. Ther Adv Psychopharmacology 2013; 3: 200-218.
7. McEvoy JP, Johnson J, Perkins D, Lieberman JA, Hamer RM, Keefe RS, et al. Insight in first-episode psychosis. Psychol Med 2006; 36: 1385-1393.
8. Saeedi H, Addington J, Addington D. The association of insight with psychotic symptoms, depression, and cognition in early psychosis: a 3-year follow-up. Schizophr Res 2007; 89: 123-128.
9. Mintz AR, Dobson KS, Romney DM. Insight in schizophrenia: a meta-analysis. Schizophr Res 2003; 61: 75-88.
10. Chandra IS, Kumar KL, Reddy MP, Reddy CMPK. Attitudes toward medication and reasons for non-compliance in patients with schizophrenia. Indian J Psychol Med 2014; 36: 294.
11. Erickson M, Jaafari N, Lysaker P. Insight and negative symptoms as predictors of functioning in a work setting in patients with schizophrenia. Psychiatry Res 2011; 189: 161-165.
12. Cechnicki A. Towards psychotherapy-oriented community psychiatry – 30 years of experiences in Kraków. Arch Psychiatry Psychother2011; 1: 71-80.
13. Cechnicki A, Bielańska A. A Community Treatment Programme for People Suffering from Schizophrenia in Krakow. In: J. Gale, et al. (ed.) Therapeutic Communities for Psychosis: Philosophy, History and Clinical Practice. New York Routledge: London; p. 171-185.
14. Kay SR, Fiszbein A, Opfer LA. The positive and negative syndrome scale (PANSS) for schizophrenia. Schizophr Bull 1987; 13: 261.
15. Kokoszka A, Telichowska-Leśna A, Radzio R. Kwestionariusz wglądu w schizofrenię – „Moje myśli i odczucia”. Psychiatr Pol 2008; 42: 491-502.
16. Thompson K, Kulkarni J, Sergejew AA. Reliability and validity of a new Medication Adherence Rating Scale (MARS) for the psychoses. Schizophr Res 200; 42: 241-247.
17. van der Gaag M, Hoffman T, Remijsen M, Hijman R, de Haan L, van Meijel B, et al. The five-factor model of the Positive and Negative Syndrome Scale II: a ten-fold cross-validation of a revised model. Schizophr Res 2006; 85: 280-287.
18. Kirkpatrick B, Strauss GP, Nguyen L, Fischer BA, Daniel DG, Cienfuegos A, et al. The brief negative symptom scale: psychometric properties. Schizophr Bull 2010; 37: 300-305.
19. Goldman HH, Skodol AE, Lave TR. Revising axis V for DSM-IV: a review of measures of social functioning. Am J Psychiatry 1992; 149: 1148-1156.
20. Wciórka J, Muskat K, Matałowski P. Ocena przydatności skal funkcjonowania społecznego z systemu DSM-IV (GAF, SOFAS, GARF). Post Psychiatr Neurol 1997; 6: 253-267.
21. Nasreddine ZS, Phillips NA, Bédirian V, Charbonneau S, Whitehead V, Collin I, et al. The Montreal Cognitive Assessment, MoCA: a brief screening tool for mild cognitive impairment. J Am Geriatr Soc 2005; 53: 695-699.
22. Van der Elst W, van Boxtel MPJ, van Breukelen GJP, Jolles J. Rey’s verbal learning test: normative data for 1855 healthy participants aged 24-81 years and the influence of age, sex, education, and mode of presentation. J Int Neuropsychol Soc JINS 2005; 11: 290-302.
23. Bryan K. The right hemisphere language battery. 2nd ed. London: Whurr; 1995.
24. Welsh MC, Satterlee-Cartmell T, Stine M. Towers of Hanoi and London: contribution of working memory and inhibition to performance. Brain Cogn 1999; 41: 231-242.
25. Gardner DM, Murphy AL, O’Donnell H, Centorrino F, Baldessarini RJ. International consensus study of antipsychotic dosing. Am J Psychiatry 2010; 167: 686-693.
26. Adamczyk P, Daren A, Sułecka A, Błądziński P, Cichocki Ł, Kalisz A, Cechnicki A. Do better communication skills promote sheltered employment in schizophrenia?. Schizophr Res 2016; 176: 331-339.
27. McGurk SR, Mueser KT, Harvey PD, LaPuglia R, Marder J. Cognitive and symptom predictors of work outcomes for clients with schizophrenia in supported employment. Psychiatr Serv 2003; 54: 1129-1135.
28. Linden M, Godemann F, Gaebel W, Köpke W, Müller P, Müller-Spahn F, et al. A prospective study of factors influencing adherence to a continuous neuroleptic treatment program in schizophrenia patients during 2 years. Schizophr Bull 2001; 27: 585-596.
29. Marwaha S, Johnson S. Schizophrenia and employment. Soc Psychiatry Psychiatr Epidemiol 2004; 39: 337-349.
30. Carmona VR, Gómez-Benito J, Huedo-Medina TB, Rojo JE. Employment outcomes for people with schizophrenia spectrum disorder: A meta-analysis of randomized controlled trials. Int J Occup Med Environ Health 2017; 30: 345-366.
31. Strauss J. Subjectivity and severe psychiatric disorders. Schizophr Bull 2011; 37: 8-13.
32. David A, Van Os J, Jones P, Harvey I, Foerster A, Fahy T. Insight and psychotic illness. Cross-sectional and longitudinal associations. Br J Psychiatry 1995; 167: 621-628.
33. Mutsatsa SH, Joyce EM, Hutton SB, Barnes TR. Relationship between insight, cognitive function, social function and symptomatology in schizophrenia. Eur Arch Psychiatry Clin Neurosci 2006; 256: 356-363.
34. Monteiro LC, Silva VA, Louza MR. Insight, cognitive dysfunction and symptomatology in schizophrenia. Eur Arch Psychiatry Clin Neurosci 2008; 258: 402-405.
35. Keshavan M S, Rabinowitz J, DeSmedt G, Harvey PD, Schooler N. Correlates of insight in first episode psychosis. Schizophr Res 2004; 70: 187-194.
36. Acosta FJ, Bosch E, Sarmiento G, Juanes N, Caballero-Hidalgo A, Mayans T. Evaluation of noncompliance in schizophrenia patients using electronic monitoring (MEMS®) and its relationship to sociodemographic, clinical and psychopathological variables. Schizophr Res 2009; 107: 213-217.
37. Lysaker P, Bell M. Work rehabilitation and improvements in insight in schizophrenia. J Nerv Ment Dis 1995; 183: 103-106.
This is an Open Access article distributed under the terms of the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0). License allowing third parties to download and share its works but not commercially purposes or to create derivative works.
Quick links
© 2024 Termedia Sp. z o.o.
Developed by Bentus.