Mivel az algoritmusok láthatatlanul manipulálják a mindennapi életünket, a változások jelentős része is sokáig észlelhetetlen marad. A végeredmény pedig egy olyan berendezkedés lehet, amely – minden politikai szándék nélkül – az orwelli diktatúrán is túlmutatva csorbítja az egyén szabadságát.
A komputertechnológia fejlődésével és a digitalizáció rendkívül széles körű elterjedésével gyakorlatilag minden mozdulatunk adatként rögzül. Ez az információhalmaz pedig olyan drasztikus változásokat indíthat be civilizációnkban, amelyek még csak részben láthatók. Az egyik súlyos aggály, hogy ezek a tendenciák kedveznek egy ahhoz hasonló megfigyelőállam kiépítésének, amelyet George Orwell 1984 című disztópikus regénye írt le.
A mindent megfigyelő és monitorozó „nagy testvér” valóságos megfelelőjét sokan a Kínában bevezetett úgynevezett társadalmi kreditrendszerben látják, amelyben egy sor kritérium alapján osztályozzák a lakosságot, és az így megállapított besorolás alapján döntik el, hogy ki milyen szolgáltatásokhoz és lehetőségekhez juthat hozzá. Azonban az adatrobbanásként leírható folyamat az állam mindenre kiterjedő bábáskodása nélkül is megbéklyózza az egyént, s a folyamat végeredménye a legelnyomóbb rezsimekkel vetekedhet.
Amint Yuval Harari a Nexus című új könyvében rámutat: önmagában a szolgáltatások értékelésének elterjedése is ilyen következményekhez vezethet. „A régi mondás szerint a vásárló az úr, ám a mindenütt jelen lévő értékeléssel (a ratingekkel) egyenesen zsarnokká válik” – figyelmeztet az izraeli történész. Ráadásul a mindenre kiterjedő értékelési rendszer azt is jelenti, hogy az egyénnek nem csak a szorosan vett munkájára kell figyelnie, ugyanis akár egy morcosabb tekintet vagy egy nem túl finom megjegyzés is alacsonyabb pontszámot generálhat. Harari arra figyelmeztet, hogy ezzel a magánszféra szerkezete is átalakulhat, ugyanis hagyományosan kvázi intim szituációnak számított például egy fodrász vagy egy pincér szolgáltatásait igénybe venni, ám a mindenki számára elérhető „ratingek” szétfeszítik a korábban jellemző meghittség kereteit.
Hogy hova is vezethet az, ha az egyének mindenben osztályozni kezdik egymást – amit nevezhetünk egy alulról szerveződő, „demokratikus” társadalmi kreditrendszernek –, plasztikusan szemlélteti a Sötét tükör nevű sorozat Szabadesés című, 2016-ban készült epizódja.
