«Trust and safety» en Vergecast

En los últimos meses el Vergecast se ha convertido en uno de mis podcasts de referencia en cuanto a tecnología. Dedican un episodio a la semana repasar la actualidad tecnológica y es extremadamente recomendable. Cada semana hay un segundo episodio en el que Nilay Patel (un tipo con mucho criterio) entrevista a una figura relevante de la industria. Con la cercanía de las elecciones estadounidenses del año que viene la intersección de política y tecnología, un tema absolutamente inevitable en la actualidad. La semana pasada entrevistaba a Alex Stamos, actualmente director del Observatorio de Internet de la Universidad de Stanford y ex «chief security officer» en Facebook y, antes de eso, en Yahoo. La entrevista es muy interesante y gira en gran parte alrededor del concepto de «trust and safety» del título de la entrada, que es el nombre del equipo de Facebook que tiene la muy poco envidiable misión de prevenir, detectar y atajar los abusos que se dan en su plataforma. El tema es de una importancia vital. Tanto como para tomar apuntes. Y aquí abajo van mis apuntes. Absolutamente parciales y sesgados, pero ahí los dejo (y que quede claro que mis apuntes y mis opiniones no tienen por qué tener mucho en común, aun a pesar del sesgo). Espero que sirvan de acicate como para dedicarle el tiempo a bajarse el podcast y escucharlo.

Sobre las «meme wars» en las elecciones: la responsabilidad es de las plataformas tecnológicas y estas han tomado medidas. En 2016 este trabajo no correspondía a nadie y ahora es una amenaza que se tiene en cuenta en Google, Twitter y Facebook.

Todo lo que los rusos hicieron en Estados Unidos en 2016 lo habían hecho durante mucho tiempo en Ucrania.


El movimiento de Facebook hacia una plataforma más privada plantea preguntas fascinantes sobre lo que queremos de las redes sociales. Si se mueven hacia mensajería de grupos con menos amplificación, se reduce la amplificación «uno-a-muchísimos» de cuentas sociales con muchísimos seguidores de 2016. Pero la comunicación en chats privados se vuelve invisible.

Cuando das privacidad a todo el mundo también se la das a «los malos». A la larga, eso es bueno para las redes sociales porque reduce su responsabilidad, pero el daño puede continuar sucediendo.

En las elecciones en India tanto el partido en el poder como la oposición tenías sus granjas de «trolls». En lugar de lanzar un mensaje a un millón de personas, decenas de miles de personas reenviaron sus mensajes a sus amigos. La misma amplificación con algo más de trabajo y mucho más difícil de estudiar por el cifrado. El movimiento hacia el cifrado es en general positivo pero tiene sus efectos secundarios.

Opciones para parar este tipo de mensajes sin romper el cifrado de extremo a extremo sin puertas traseras. Por ejemplo, procesar el mensaje en el dispositivo antes de ser cifrado y enviado y al menos alertar al remitente, de manera respetuosa con la privacidad y la libertad del usuario. O reconocer imágenes en el dispositivo del receptor del mensaje y alertar del potencial contenido de la imagen antes de mostrarla. Las compañías adquirirían un papel más paternalista, con los problemas que esto puede suponer.

Hay una componente cínica en el cifrar las comunicaciones. A las plataformas se les pide cifrado y que no sepan qué se dicen sus usuarios y, a la vez, que protejan a esos mismos usuarios. Ambas cosas son incompatibles. Facebook, históricamente, ha intentado situarse en una posición intermedia y no ha funcionado: se les puede criticar desde los dos lados y ahora Zuck ha decidido lanzarse hacia uno de los extremos con la privacidad y el cifrado, reduciendo la moderación de contenido, que le era un problema, porque una vez que comienzas a moderar se abre un problema sin fin.

Como sociedad no hemos decidido el punto hasta el que queremos mantener segura a la gente en línea y cuánto queremos controlas sus acciones para tal efecto y quién se encarga de ello.

Se oyen voces pro control del discurso con un volumen que nunca habíamos oído en la era «pre tech». Lo que ha hecho el sector tecnológico es permitir conversaciones sobre ese control del discurso que no habrían sido aceptables en los doscientos años anteriores.

¿Las reglas se van a elaborar de manera democrática o las elaborarán actores privados? En el entorno estadounidense el gobierno no puede encargarse gracias a / por culpa de la primera enmienda. Todos los demás gobiernos angloparlantes están considerando regulaciones del discurso en línea ridículas. Australia se ha adelantado pero en el Reino Unido se están gestando cosas. Facebook no puede considerar principalmente el caso estadounidense por la distribución de sus usuarios. Y globalmente lo que pasa es más legislación pro privacidad como la RGPD.


El entrevistador pregunta si tendría sentido ofrecer el equipo de «trust and safety» como servicio «à la AWS» para start ups para poner estos servicios al alcance de compañías que no tienen la escala de Facebook («trust and safety» sería el equipo encargado de mitigar los abusos en línea en una plataforma, y es bastante diferente de lo que se considera tradicionalmente «seguridad»). Esto permitiría que surgiesen nuevas redes sociales sin tener que desarrollar un equipo encargado de estos problemas, algo potencialmente imposible. Según Stamos esto es algo que actualmente solo se puede aprender desde el rol de aprendiz en el equipo de una empresa como Facebook. Como el equipo antifraude de Paypal, son cosas que no se pueden aprender en un entorno académico tradicional. Es racional esperar que esto se convierta en una industria de la misma manera que AWS convirtió su experiencia en una industria. Twitter sería la frontera: por debajo de su escala no puedes atacar estos problemas sin subcontratar. Y, por ejemplo, en Alemania ya ha surgido alguna empresa dedicada asesorar sobre el cumplimiento de la legislación del país.

A los responsables de producto se les mide por el crecimiento, y no por si han generado una enorme cantidad de riesgo al hacer crecer su producto.

Quizá debería mirarse a la industria financiera post crisis de 2008 y su gestión del riesgo y cómo se ha llevado esa responsabilidad hacia los responsables de los productos.

Es razonable que una empresa pequeña no tenga un responsable de «trust and safety», pero es necesario que la gente de producto y de ingeniería sean conscientes de los temas asociados. Estas cosas deben considerarse y tratarse desde el inicio, no mitigarse como se pueda (o no) a posteriori. Son temas mucho más difíciles de predecir y anticipar que los tradicionales de seguridad porque son muco más específicos del funcionamiento del producto, los usuarios y sus costumbres. Va a haber más trabajo en detección y respuesta que en prevención. Pero eso no significa que no se deba anticipar y prever la necesidad. No deberías enterarte de los problemas de tu producto o servicio por la prensa.


Uno de los grandes problemas de Twitter es que es muy difícil definir qué es una cuenta falsa, dado que es perfectamente razonable que una cuenta sea anónima. En su defensa debe decirse que son mucho más transparentes con sus acciones que Facebook y Google (siendo Google la menos transparente con diferencia). Si se habla del problema chino en particular, también hay que tener en cuenta que tanto Facebook como Twitter han abandonado la esperanza de tener una buena posición en el mercado chino, mientras que Google lo está intentando con ahínco. Facebook ha añadido más recursos humanos al problema de la moderación que el total de trabajadores de Twitter.

La posición de YouTube es extremadamente opaca y la menos razonada. El poder del algoritmo de recomendación de YouTube es el mayor de todos y, por tanto, también lo debería ser su responsabilidad.

La solución de todos estos problemas pasa por los usuarios, en cualquier caso. La centralización de los medios de información del siglo XX (y los sistemas anteriores) se ha acabado. Cada vez que ha habido un cambio en esa organización la sociedad se ha tomado un tiempo en interiorizar el nuevo status quo y ha pasado por un pánico moral, y es natural que a nosotros nos toque lo mismo. Eso no elimina la responsabilidad de las empresas pero al final les toca a los individuos. La ruptura del oligopolio de la información tiene muchísimos efectos beneficiosos, pero también los negativos y en consecuencia nos exige más responsabilidad. Los trabajos académicos sobre el campo apuntan a que las nuevas generaciones son algo menos vulnerables a fenómenos como las fake news y por tanto hay espacio para el optimismo y suponer que estamos en el proceso de interiorización del cambio.

En cualquier caso, empresas como Facebook y Twitter han pasado a tener poderes casi de estado, pero sin la «accountability» y la necesidad de transparencia. En Estados Unidos, dada la primera enmienda, deben ocuparse de los problemas de los límites del discurso, y eso plantea una serie de problemas de muy difícil solución. Facebook toma más decisiones de moderación de contenidos en una hora que todo el sistema judicial federal de Estados Unidos en un año.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *