Keskustelu:Mystisten siilien kolo/Keskustelu 8

Viimeisin kommentti: 8 vuotta sitten käyttäjältä VilleTL
Mistä oli kyse
muokkaa

Facebookissa tehtiin tutkimus käyttäjien uutisvirran manipuloinnin vaikutuksesta käyttäjien tekemiin päivityksiin lisäämällä positiivisten ja negatiivisten käyttäjäpäivitysten määrää. Tutkimus toteutettiin satunnaisesti valituille lähes 700 000 englanninkieliselle Facebook-käyttäjälle viikon ajan tammikuussa 2012. Tutkimus ei rikkonut Facebookin käyttösääntöjä, joissa mahdollistetaan tutkimusten tekeminen. Tosin sana ”research” lisättiin vasta tutkimuksen tekemisen jälkeen käyttöehtoihin. Toisaalta Facebook soveltaa ylipäätään varsin vapaasti omia sääntöjään esimerkiksi sen mukaan mikä katsotaan sopimattomaksi sisällöksi. Eli mitä säännöissä sanotaan ei tarkoita että sitä todellisuudessa sovellettaisiin käytännössä.

Yksittäisiä käyttäjiä ei pystytty tunnistamaan datasta, joka analysoitiin tietokoneella. Tutkijat eivät näin itse nähneet datan sisältöä. Tutkimuksen tulos oli, että tunnetilat voivat siirtyä käyttäjille tiedostamatta ja ilman suoraa vuorovaikutusta. Nonverbaalista viestintää ei näin tarvittu vaikutuksen syntymiseen. Positiivisten julkaisujen vähentyminen lisäsi negatiivisia päivityksiä ja negatiivisten julkaisujen vähentyminen lisäsi positiivisia päivityksiä. Tunteita sisältämättömät viestit vähensivät käyttäjän päivitysten määrää yleisesti. Vaikka vaikutus oli prosentuaalisesti pieni, niin Facebookin mittakaavassa pienetkin vaikutukset koskevat laajaa joukkoa.

Tutkimus herätti runsaasti kritiikkiä. Perinteisesti tutkimuksissa on tyydytty seuraamaan toimintaa, nyt manipuloitiin sitä. Manipulointia perusteltiin sillä, että Facebook manipuloi jatkuvasti käyttäjien etusivuja valitsemalla näytettävät päivitykset ja mainokset käyttämällä siihen suunniteltua algoritmia. Ideana on näin näyttää sellaista sisältöä, joka saa käyttäjän palaamaan palvelun pariin, jotta se saisi enemmän mainostuloja. Tällä tavalla käyttäjä ”myydään” mainostajille.

Lisäksi tutkimusta kritisoitiin sosiaaliseen mediaan sopimattoman ohjelmiston käyttämisestä (suunniteltu romaanien ja esseiden analysoimiseen). Ongelmana oli päivitysten sisällön tulkitseminen silloin kun julkaisu sisälsi keskenään ristiriitaisia sanoja.

Facebook tekee omia tutkimuksia koko ajan, mutta niitä ei julkaista. Tämä on harmi, sillä julkaiseminen toisi ne akateemisen eettisen pohdinnan piiriin. Tutkimusten ja käyttäjiltä saatavan informaation myötä Facebookilla on paljon tietoa käyttäjistään. Myös esimerkiksi Googlella on paljon valtaa tiedon suhteen. Senkään käyttämä algoritmi ei ole yleisessä tiedossa. Näin arvokas data on muutaman suuryrityksen hallussa samaan aikaan kun akateemiselta tutkimukselta leikataan koko ajan rahoitusta. Muita resursseja ja niiden omistamista säännöstellään, tiedon ei. Tästä pitäisi käydä enemmän julkista keskustelua.

Johtopäätökset
muokkaa

Kritiikin ja kohun olisi voinut välttää mainitsemalla tutkimuksesta etukäteen käyttäjille. Ongelma tässä on, että se voisi vaikuttaa tutkittavien käyttäytymiseen. Yksi mahdollisuus olisi ollut ilmoittaa tutkimuksesta käyttäjille datan keräämisen jälkeen, jolloin halukkailla olisi ollut mahdollisuus pyytää itseään koskevan datan poistamista tutkimusaineistosta. Toisaalta kumpikaan näistä vaihtoehdoista ei välttämättä olisi tavoittanut kaikkien käyttäjien huomiota.

Sinänsä tutkimuksen puolustelijat olivat oikeassa siinä, että Facebook manipuloi joka tapauksessa itse käyttäjien uutisvirtaa. Kohu nousi asiassa sen vuoksi, että nyt manipulointi tehtiin tieteellisen tutkimuksen nimissä, jolla on selkeät eettiset kriteerit. Nämä ovat huomattavasti esimerkiksi Facebookin käyttöehtoja tarkemmat ja informanttien oikeuksia paremmin huomioivat. Nähdäkseni asiassa ei olisi ollut eettistä ongelmaa, jos tutkimuksen tekijät olisivat toimineet oman eettisen koodistonsa mukaisesti, eli ilmoittaneet tutkimuksesta viimeistään datan keräämisen päätyttyä.

Hyvä puoli tutkimuksessa oli, että se toi laajaan julkisuuteen ja keskusteluun sekä tutkimuksen tekemisen eettiset kysymykset että käyttäjädataa koskevat omistamiskysymykset. Kaupalliset toimijat ovat asiassa kieltämättä etuoikeutettuja esimerkiksi tutkijoihin nähden. Asiaa ei kuitenkaan pitäisi tyytyä vain harmittelemaan, vaan pyrkiä sellaiseen yhteistyöhön kaupallisten toimijoiden ja tieteentekijöiden välillä joka hyödyttäisi molempia. Tässä pitäisi kuitenkin noudattaa tieteen kriteereitä, sillä esimerkin kaltaiset kohut vahingoittavat tutkimuksen mainetta ja näin voivat vähentää ihmisten halukkuutta osallistua niiden tekemiseen.

Kokonaisuudessaan dataresurssien omistajuuskysymykset ja keskustelut niistä kuvaavat mielestäni aikakauttamme ja maailmaa jossa elämme. Informaatioyhteiskunnassa tieto on keskeinen resurssi (se on ollut sitä tosin aina ennenkin). Samalla tavalla esimerkiksi teollistumisen aikana käytiin keskustelua työväen oikeuksista sekä resurssien ja hyödyn jakautumisesta. Ihmistyövoiman ja luonnonvarojen sijaan nyt puhutaan informaatiosta ja inhimillisestä pääomasta.

Tutkimuksessa käytetty ohjelmisto vaikutti esimerkkien valossa pahasti riittämättömältä käsittelemään käyttäjien tuottamaa sisältöä. Sen vuoksi suhtautuisin tutkimuksessa esitettyihin lukuihin varauksella. Sinällään tutkimuksen tulos eli tunnetilojen siirtyminen käyttäjille tiedostamatta ja ilman suoraa vuorovaikutusta on mielestäni looginen.
--VilleTL (keskustelu) 17. marraskuuta 2015 kello 19.04 (UTC)Vastaa


Kyse oli siitä, että Facebook on tehnyt ja tekee kaiketi edelleenkin tutkimuksia käyttäjiä tarkkailemalla, ilmoittamatta siitä varsinaisesti käyttäjille. Videolla esiintyneen naisen mukaan Facebook manipuloi ihmisten newsfeedejä myydäkseen asioita, sekä tarkkailee mihin ihmiset reagoivat ja mitä varten he tulevat taas uudestaan käymään Facebookissa. Facebook käyttää algoritmiä, joka laskee mitä näytetään ja mitä piilotetaan eri ihmisiltä. Facebookin käyttäjäsopimus on laadittu siten, että siinä annetaan Facebookille mahdollisimman laajat oikeudet. Ongelmana onkin se, että ihmiset hyväksyvät Facebookilta lähes mitä tahansa ja tällaista käyttäjien tarkkailua ja siihen perustuvaa strategista markkinointia pidetään nykyään jo aika normaalina. Toisaalta varmaan monikaan ei ole tietoinen näistä asioista, osa taas ei välitä. Toisaalta taas nettikäyttäjien seuranta erilaisten evästeidenkin muodossa on nykyään arkipäiväistä, eikä peruskäyttäjä välttämättä jaksa vaivautua ottamaan selvää mahdollisuuksistaan estää sitä tai yleensäkään olla huolissaan siitä, vaikka jotain asiasta tietäisikin. Myös omassa selaamisessani olen huomannut sen, että Facebookissa näkyvät mainokset päivittyvät aika paljon sen mukaan mitä muuta olen viime aikoina selannut, koska en ole tehnyt evästeasetuksille mitään (laiska, huolimaton jne...). Jos olen käynyt katsomassa jotain tuotesivua jossain nettikaupassa, se tuote saattaa näkyä Facebookin sivupalkin mainoksessa seuraavina viikkoina jatkuvalla syötöllä. Facebook kerää siis tietoja myös käyttäjän muusta nettiselaamisesta. Itse asiassa, nyt kun kävin katsomassa niin Facebookin asetuksissahan on tällainenkin kohta:

"Miten voin hallita mainosten kohdentamista minulle sen perusteella, mitä teen Facebookin ulkopuolella? Jos et halua, että Facebook käyttää mainosten sinulle näyttämistä varten tietoja, jotka perustuvat toimiisi sivustoissa tai sovelluksissa Facebookin ulkopuolella, voit halutessasi estää sen asetuksissasi. (...) Voit myös poistaa käytöstä kaikkien osallistuvien yritysten mainonnan Yhdysvaltain Digital Advertising Alliancen, Kanadan Digital Advertising Alliance of Canadan tai Euroopan European Interactive Digital Advertising Alliancen kautta tai poistamalla mainonnan käytöstä mobiililaitteesi asetusten avulla."

Jaha. Ehkä asialle siis olisi aika helppokin tehdä jotain niin halutessaan. Toisaalta, ei siitä mainonnasta minulle oikeastaan mitään haittaakaan ole ollut, lähinnä vaan tulee outo olo kun tuntuu että Facebook tietää kaiken mitä selaan.

Videon lopussa esitettiin, että on paljon erilaisia ihmisryhmiä joiden on pakko olla Facebookissa ja jotka näin joutuvat Facebookin harjoittamaan seurantaan. Poliitikkona ei voi luoda nykyään kummoistakaan uraa jos ei käytä sosiaalisen median palveluita, Facebook varmaan siellä listan yläpäässä. Facebookin käytön välttämättömyys vapaaehtoistyössä toimiville ja kauas perheestään, suvustaan ja ystävistään muuttaville ihmisille mainittiin myös. On totta, ettei Facebookia kätevämpää yhteydenpitomuotoa sinänsä välttämättä ole, mutta väittäisin että perheen, suvun ja ystävien väliseen yhteydenpitoon on muitakin keinoja kuten esim. Skype. Poliitikkona tai järjestötoimijana sen sijaan Facebookin käyttö lienee aika välttämätöntä. Yrityksille Facebook-sivut ovat myöskin nykyään merkittävä markkinointikanava ja työpaikkailmoituksissakin saatetaan hakea ”sosiaalisen median osaajaa” hoitamaan markkinointia Facebookissa ja muissa sosiaalisen median palveluissa.

Facebook on siis luonut tavallaan aika nerokkaan systeemin keräämällä tietoa käyttäjistä ja myymällä tietojen perusteella kohdennettua mainostilaa sitä kaipaaville, vaikka systeemin eettisyys on vähän niin ja näin. Periaatteessahan käyttäjän kiinnostuksenkohteiden perusteella kohdennettu sisältö on hyvä asia, mutta newsfeedin muokkaaminen käyttäjän reaktioiden tutkimiseksi ja muokkaamiseksi tai muuten käyttäjän manipuloimiseksi käyttäjälle siitä ilmoittamatta ei ole. Tulee myös väistämättä mieleen, että mihin kaikkialle muualle Facebook myy keräämiään tietoja käyttäjistä? Toisaalta samantyyppinen olo tulee, kun käyttää Googlenkin palveluita.

Facebookin käyttäjien newsfeedejä manipuloimalla tekemään tutkimukseen liittyi monia eri ongelmia. Tutkimuksen analyysivaiheessa käytettiin ohjelmistoa, joka oli tehty novellien ja esseiden analysointiin ja tässä sillä analysoitiin paljon lyhyempiä sosiaaliseen mediaan kirjoitettuja tekstejä. Myöskin tutkimuksen vertaisarviointikuviot olivat jokseenkin epäselvät. Alkujaan oli ilmoitettu myös, että USA:n armeijalta olisi saatu rahoitusta, mutta myöhemmin ilmoitettiin ettei tutkimuksella ollutkaan ulkoista rahoitusta. Kaikenkaikkiaan aika hämärä keissi.

Olin aiemminkin toki jossain määrin tietoinen jonkinasteisesta tarkkailusta jota Facebook harjoittaa, mutta en nyt vielä kuitenkaan näiden tietojen perusteella ajatellut lähteä Facebookista. Olisi kuitenkin tavallaan positiivista, jos ihmiset ilmaisisivat laajemmin, etteivät hyväksy ihan kaikkea Facebookin harjoittamaa tarkkailua, manipulointia ja sen kaupallista hyödyntämistä. Toisaalta taas, jostainhan ilmaispalvelunkin on saatava rahaa ja mainostulot lienevät siihen lähes ainoa vaihtoehto, jos halutaan pitää palvelun sisältö kuitenkin kaikille samana ja ilmaisena. Itse en viitsisi maksaa Facebookin käytöstä, joten kai tuollainen touhu pitää pitkin hampain hyväksyä.

Lisättäköön tähän loppukaneetiksi vielä sellainenkin huomio, että myös Instagram ja WhatsApp ovat Facebookin omistuksessa olevia palveluita, eli Facebook pystyy keräämään loppujen lopuksi käyttöönsä aika valtaisat määrät tietoa. Tässä vielä Ylen kioskin artikkeli, jonka mukaan Facebook saa hyvinkin todennäköisesti tietoja Whatsappin kautta. Tämä on toki loogista, koska Facebookin toiminta perustuu käyttäjien mahdollisimman tarkkaan profiloimiseen.
-BP


BP, Yle-linkissäsi oli mielenkiintoinen tuo tietosuojavaltuutettu Reijo Aarnion kommentti Facebookin tekemästä tietojen keräämisestä: "Ongelmana näissä tilanteissa on ensinnäkin se, että ehtoja muutetaan jälkikäteen, jolloin esimerkiksi kuluttajasta voidaan tehdä paljon mittavampi profiili kuin alkuperäisten ehtojen mukaan olisi ollut luvallista." Vastaava ilmiöhän oli myös tuon 2012 tehdyn Facebook-tutkimuksen kanssa; sana "research" lisättiin ehtoihin vasta reilusti tutkimuksen jälkeen. Toisaalta käyttöehtojen sisältö on käytännössä aika yhdentekevä, koska harvalla riittää mielenkiinto, jaksaminen ja osaaminen ehtojen lukemiseen ja ymmärtämiseen. Varsinkin kun niitä päivitetään usein. Vähän ihmettelen ettei kukaan artikkelin asiantuntijoista maininnut esimerkiksi tuota mainitsemaasi sopimusehtojen kohtaa, jossa mainonnan voi rajata pois.

Kioskin jutussa oli myös linkki tähän juttuun, jossa pohditaan mahdollisuutta että Facebook-sovellus kuuntelisi puhelinta sen mikrofonin kautta. Mahdollisuutta pidettiin varsinkin Suomen kohdalla epätodennäköisenä, mutta käyttäehdoissa tämä mahdollisuus on kuitenkin mainittu. Joskus tulevaisuudessa voi tämäkin keino kuitenkin olla todellisuutta.
--VilleTL (keskustelu) 27. marraskuuta 2015 kello 20.31 (UTC)Vastaa


Facebook on ollut monesti uutisissa yksityisyydensuojaluokkausten sekä muiden epäilyttävyyksien vuoksi. Juurikin nämä yksityisyyskysymykset ovat yksi niistä syistä, joiden takia en edelleenkään kuulu Facebookiin, vaikka Facebook-tilin omistaminen saattaisikin helpottaa yhteydenpitoa ja uusiin ihmisiin tutustumista. Facebookin käytöstä ja siihen kuulumisesta on nykypäivänä tullut se oletusarvo, jota kaikki eivät tule ajatelleeksi kyseenalaistaa. On helpompi vain scrollata läpi käyttöehdot ja hyväksyä ne yhdellä klikkauksella, kuin oikeasti ottaa aika lukea ne ajatuksen kanssa. En väitä, että itsellänikään riittäisi jaksaminen tai kärsivällisyys sellaiseen, etenkään, kun ehdot päivittyvät ilmeisesti suhteellisen usein. Helpompaa onkin vain pestä kätensä koko hommasta ja olla kuulumatta Facebookiin – ihmiset, joihin oikeasti haluan pitää yhteyttä saavat minut kyllä kiinni muutenkin.

Toisaalta tiedostan, että Googlekin kerää käyttäjiltään aktiivisesti tietoja ja käytän kuitenkin sen palveluita säännöllisesti. Lisäksi käytän WhatsAppia, eli tiedän, etten ole periaatteissani mitenkään täysin johdonmukainen. Voi myös olla, että tulevaisuudessa olosuhteet pakottavat minut lisäämään presenssiäni sosiaalisessa mediassa, mutta niin ei kuitenkaan ole ainakaan vielä.
- Akadora


Mitään käyttöehtoja ei kyllä yleensä tule luettua. Tuntuu naurettavalta, että käyttöehtojen läpikelaamisen saa kuitenkin tehdä vaikka puolessa sekunnissa ja se hyväksytään jo riittäväksi lukemiseksi. Toisaalta ei kai siinäkään oikein olisi järkeä jos käyttäjä pakotettaisiin scrollaamaan käyttöehdot läpi oikein hitaasti.
-BP


Facebook ei halua julkaista tutkimuksiaan, koska niiden sisältämä data on rahanarvoista ja jos se julkaistaisiin, siitä tulisi yleistä tietoa, jota ei sitten enää voitaisi myydä. Julkaisemisen sijaan Facebook myy tiedot ”suurille yhtiöille”.

Teistä en tiedä, mutta minua pännii ihmisten/ihmisen loputon ahneus; isot korporaatiot sen kun mennä porskuttavat ja pyrkivät monopoliasemaan markkinoilla. Tuntuu, että jotkut korporaatiot/ihmiset niiden takana haluavat omistaa kaiken valuutan ja resurssit maapallolla (mikä kuvaa muuten hyvin myös ihmistä lajina). Tosi itsekästä, inhottavaa ja typerää toimintaa, joka sortaa muita. Aaargh, pidän itseänikin itsekkäänä ihmisenä, mutta silti välitän muista ihmisistä ja tahtoisin auttaa toisia hädässä. Mietin, mikseivät muutkin ihmiset voi ajatella muutakin/muitakin kuin itseään - etenkin sellaiset ihmiset, joilla ei todellakaan ole varaa väittää, ettei heillä ole varaa ajatella muita. Kaupallisuus ajaa yli eettisyydestä (ja muista arvoista). Otetaan esimerkkinä vaikka ruokajättikorporaatio Nestlé, joka tahtoo kaupallistaa makean veden (joka siis on, ja tulisikin olla, ihmisoikeus), mistä syystä boikotoin sitä. Joo, maailmassa eivät todellakaan toteudu ne länsimaiden ylistämät ideologiset, ”naiivit” arvot (vapaus, tasa-arvo, ihmisoikeudet). Välillä sitä miettii, miksi jotkut edes jaksavat yrittää ajaa niiden asiaa, rämpiä siellä loputtomassa suossa, kun tuntuu, että mihinkään ei kuitenkaan päästä (”Kaikki on turhaa!” -Piisamirotta). Silti ymmärrän kyllä, että niitä jaksavia, rohkeita ihmisiä tarvitaan, tarvittaisiin enemmänkin. Pohdin myös, miten (millaisilla teoilla) voisin parhaiten ajaa/edistää omien arvojeni asiaa maailmassa, ja miten saada lisää ihmisiä mukaan. Vihaan kyllä kaiken maailman saarnaajia, erinäisten asioiden mainosmiehiä ja levittäjiä, jotka tulevat hieromaan ihmisten naamaan kaikenlaisia juttujaan, mutta peukutan (fyysisellä sormella, en ikinä netissä) niille, joiden kanssa olen samaa mieltä ja jotka hoitavat asiansa hienovaraisesti ja mielestäni hyvin. Joo, tiedostan muuten, että paasaan tässä vähän itsekin. Sillä erolla kuitenkin, että ilmaisen mielipiteeni, en yritä ”tartuttaa” sitä eteenpäin, vaan alistun lytättäväksi (koska en jaksa tapella verbaalisotia). Kaikenlaista jännää maailmalla tapahtuu. Toivotaan, että ne kivat ”naiivit” arvot joskus saavat jalansijaa kaikkialla - ja mielellään siinä kaikkien yhteisesti hyväksymässä muodossa (eikä esim. yhden vallanhimoisen diktaattorin sanelemana).

Ville: Hieno ajatus tuo kaupallisten toimijoiden ja tieteentekijöiden yhteistyö. En kuitenkaan usko, että se tulee kantamaan hedelmää, vaikka kovasti ja hyvällä tahdolla yritettäisiinkin. Osapuolet ovat nimittäin kilpailijoita, mitä tiedon keräämiseen tulee (ainakin tällä sosiaalisen median areenalla). Kaupallisilla toimijoilla on tällä toiminta-alueella luultavasti enemmän valtaa kuin tieteentekijöillä, ja kilpailusyistä tälle osapuolelle on etujen mukaista eliminoida kilpailijoita. Lisäksi kaupallisuus hidastaa kehitystä, esimerkiksi juuri siinä mielessä, että se evää tieto(j)a, joita voitaisiin käyttää muuhunkin kuin esim. tuotekehittelyyn. Patentit ja valmistusmenetelmät omitaan ja pidetään salassa, vaikka niitä voitaisiin käyttää ja kehittää maailmanlaajuisesti ”ihmiskunnan”/”suuremman hyvän” eteen. Sama pätee muuten myös esim. mediateollisuuden asettamia kopio- ja tekijänoikeussuojauksia (Mikki Hiiri).

Ihmistyövoimasta ja luonnonvaroista: näistä puhutaan AINA. Tai ainakin niin kauan kuin niitä riittää.

tutkimuksen/tutkimusten hämäristä metodeista: Samaa mieltä olen siitä, että kaikkiin tutkimuksiin pitäisi suhtautua samalla varauksella/avoimuudella, ja niitä arvioitaessa tulee kaikkeen mahdolliseen (käytettyjen lähteiden laatuun, rahoitukseen, sovellettuihin metodeihin, yms.) kiinnittää huomiota. Tähänhän muuten menee törkeän kauan, jos sitä oikeasti alkaa aina ja kaikissa tapauksissa tekemään, mutta silti se olisi minusta tarpeellista.

BP: Olen samaa mieltä, että tuo on kyllä tosi per***stä, että Facebookit sun muut korporaatiot teettävät kaiken maailman tutkimuksia yms. käyttäjien kustannuksella ilman, että siitä tiedotetaan kunnolla (etu- tai edes jälkikäteen). Sitten kysyttäessä ne sanovat, että kyllä se kaikki siellä käyttötiedoissa infotaan, joten niiden puuhien pitäisi siten olla kaikkien tiedossa ja käyttöehdot hyväksymällä myös hyväksyttyä toimintaa - mitä se kuitenkaan todellisuudessa ole, ja kaikki sen tietää. Ne jutut vaan haudataan sinne mailien mittaiseen käyttötiedot-dokumenttiin, jota kukaan ei tasan koskaan ajatuksella lue kokonaan läpi, ja tämänkin tietää kaikki. Pystyn hyvin samaistumaan, koska olen yksi niistä, jotka kokevat että moisiin pitkiin sepustuksiin, jotka harvoin edes kirjoitetaan selvästi ymmärrettävällä kielellä, ole aikaa lukea.

”Kyse ei ole siitä että sä et tiedä vaan siitä että sua EI KIINNOSTA!” -Pasila Mainio quote, joka sopii mielestäni moneenkin asiaan (mm. Facebook suhtautumiseeni).

Akadora: Peukutan vahvasti :) Ihan samaa mieltä Facesta, sen toiminnasta ja niistä lukuisista syistä olla tekemättä sinne tiliä.

~pacwoman


pacwoman, Totta, kaupallinen sektori jyrää tieteellisen sosiaalista mediaa koskevan tiedon suhteen, koska järjestelmät ja sitä kautta tieto on kaupallisen sektorin omistamaa. En näe tämän vuoksi tieteellistä ja kaupallista puolta kilpailemassa keskenään, vaan kaupallisen sektorin toimijat kilpailevat keskenään. Näin tieteellisen ja kaupallisen puolen välille olisi mahdollista rakentaa myös sellaista yhteistyötä, joka hyödyttäisi molempia osapuolia. Tämä pitäisi vain osata markkinoida (niinpä) kaupallisen puolen toimijoille niin, että se vaikuttaa kiinnostavalta heidän näkökulmastaan.
- VilleTL

Palaa sivulle ”Mystisten siilien kolo/Keskustelu 8”.