La inteligencia artificial revoluciona la docencia médica

Por Roberto Borrone.

El protagonismo creciente (en forma exponencial) de la inteligencia artificial (IA) en el mundo de la medicina es un hecho concreto e irreversible y con un futuro que superará límites insospechados.

Podemos abordar el tema en dos planos: uno –el más transitado– es el de las aplicaciones de la IA en el área asistencial y de investigación médica. El segundo plano es el enfocado en la potencialidad del uso de la IA en el área de la docencia médica.

En la cátedra de Oftalmología del Hospital de Clínicas José de San Martín (UBA) efectuamos en septiembre del año pasado una investigación que consistió en comparar el desempeño de una cohorte de médicos con respecto al del ChatGPT-4 en el examen final teórico de posgrado de la carrera de médico especialista universitario en Oftalmología. Ese examen consiste en 50 preguntas con cuatro opciones de respuesta cada una (multiple choice). El artículo con los resultados y análisis de esta experiencia fue aprobado para su publicación en la revista científica Oftalmología Clínica y Experimental al superar la evaluación de los revisores. Las respuestas correctas de los alumnos determinaron una exactitud promedio del 78%, en tanto que GPT-4 logró una exactitud del 80%. El umbral de respuestas correctas para aprobar el examen requiere una exactitud del 60%.

El tiempo promedio para completar el examen fue de 75 minutos para los alumnos y de 73,49 segundos para GPT-4. Se trata de una cifra 61 veces inferior al promedio del tiempo utilizado por los alumnos.

En el examen para obtener la licencia médica en los EE.UU. la performance global de GPT-4 fue de una exactitud del 86% En cuanto a las preguntas vinculadas específicamente a oftalmología, GPT-4 respondió correctamente el 70% de la fase 1; 90% de la fase 2 y 96% de la fase 3. En cada etapa del examen las preguntas se enfocan en diferentes áreas del conocimiento.

En el examen del Colegio de Oftalmólogos del Reino Unido, con la misma modalidad de multiple choice, la exactitud de GPT-4 fue del 79,1%. En el examen nacional para la licencia médica en China, GPT-4 logró el 84% de exactitud.

El campo de aplicación de la IA en la docencia médica tiene notables posibilidades. Julio Mayol, de la Universidad Complutense de Madrid, destaca que “la inteligencia artificial hace posible la personalización del aprendizaje médico adaptando los contenidos, el ritmo y el estilo a las necesidades de cada estudiante. Esto promueve un mayor compromiso y motivación por parte del estudiante, conectándolo mejor con el material de estudio”.

La IA ayuda a generar contenidos educativos actualizados y de alta calidad. También incrementa la capacidad de producción de simulaciones clínicas para recrear escenarios realistas que permiten entrenar habilidades prácticas y estimular el razonamiento clínico de los estudiantes. Con la utilización de simuladores y entornos virtuales, los residentes pueden perfeccionar técnicas sin poner en riesgo a los pacientes. Incluso las nuevas herramientas de IA son capaces de interpretar la información de los videos quirúrgicos. Estas posibilidades nos conducen a herramientas de tutoría inteligente para resolver áreas de dificultad en cada estudiante y residente.

Respecto de las aplicaciones de la IA en el campo de la investigación médica y la tarea asistencial, las posibilidades son deslumbrantes, pero esto no debe distraernos de ciertos riesgos y desafíos.

Un logro impactante consistió en la predicción de eventos como el riesgo de muerte de los pacientes, el tiempo estimado de internación o la posibilidad de su readmisión en internación dentro del primer mes luego del alta. El modelo predictivo basado en IA NYUTron fue entrenado con las anotaciones redactadas por los médicos en las historias clínicas de 336.000 pacientes en los EE.UU., atendidos entre 2011 y 2020. Fue diseñado por un equipo de la Escuela Grossman de Medicina de la Universidad de Nueva York. Sus resultados fueron publicados en la prestigiosa revista científica Nature. Esas historias clínicas constituyeron una fuente de datos de 4100 millones de palabras. Al analizar grandes cantidades de datos de los pacientes, la IA puede encontrar patrones que los médicos podrían pasar por alto. Analizando las historias clínicas, los investigadores pudieron calcular el porcentaje de aciertos del programa. El resultado fue que el programa identificó al 85% de los pacientes que finalmente murieron en su internación y al 80% de los pacientes que requirieron reinternación en un plazo de 30 días.

Erik Oermann, investigador principal del proyecto, concluyó que la IA ayudará a proveer más información a los médicos para la toma de decisiones.

La detección temprana de enfermedades es otra de las áreas en las que el desarrollo de herramientas de IA está logrando avances impensados poco tiempo atrás. La IA está facilitando el diagnóstico precoz del cáncer y de enfermedades neurodegenerativas (Parkinson, Alzheimer o esclerosis lateral amiotrófica). El análisis de imágenes médicas (tomografías computadas, resonancias magnéticas, imágenes de la retina, histopatologías) utilizando IA permite efectuar diagnósticos más precoces y precisos, y personalizar los tratamientos para mejorar la calidad de vida y la supervivencia, tal como lo expresó claramente Isabel Lüthy.

La IA ha abierto un inmenso panorama para el desarrollo de nuevas drogas.

Otro campo es el monitoreo en tiempo real del estado de salud de los pacientes en forma remota mediante sensores y dispositivos portátiles que permiten a la IA analizar esos datos y eventualmente enviar una señal de alerta.

Marcelo D’Agostino (OPS/OMS) ha remarcado la importancia de usar herramientas basadas en algoritmos transparentes que se nutran de bases de datos con evidencia científica probada. Son fundamentales las consideraciones éticas sobre el origen de los datos cumpliendo además con las normas de privacidad y confidencialidad. Herramientas como ChatGPT pueden no entender el contexto y llevar a interpretaciones inexactas o incompletas.

Roberto Miatello, decano de la Facultad de Ciencias Médicas de la Universidad de Cuyo, ha expresado que “la IA no debe (ni puede) reemplazar por completo la experiencia clínica y el juicio humano, sino más bien complementarlos. No puede reemplazar la necesidad de habilidades interpersonales, empatía y juicio clínico, que son componentes fundamentales de la atención médica de calidad”.

Luis Ignacio Brusco, decano de la Facultad de Medicina de la Universidad de Buenos Aires, plantea una pregunta fundamental: ¿la inteligencia artificial puede desarrollar empatía? “La empatía permite comprender las relaciones intersubjetivas e implica la capacidad de entender al otro. La empatía es ver con los ojos de otro, escuchar con los oídos de otro y sentir con el corazón de otro” (Alfred Adler). Esta falta de empatía es considerada una de las limitaciones de la IA. El profesor Brusco plantea que “para tener empatía es necesaria la metacognición, es decir, reconocerse a uno mismo. En ese marco, no podríamos entender la intersubjetividad sin tener conciencia de nuestra subjetividad. Que la IA logre empatía implicaría su llegada a la singularidad, y esto implicaría inteligencia emocional”. El límite sería que “la inteligencia artificial nunca podrá repetir la idiosincrasia grupal de lo aprendido como homo sapiens y de pertenecer a esta tribu, nuestra tribu, de la cual nunca podrá ser parte. Allí reside su debilidad (su talón de Aquiles) y hasta quizá su fortaleza (y también su peligro)”.

Para concluir, y siguiendo al doctor Arcadi Gual, desde el Corpus Hippocraticum los valores de la medicina se sustentan en la philotechnie (amor por la ciencia/técnica) y la philantropie (amor y respeto al paciente/principios éticos). La irrupción de la IA en la medicina nos brinda una herramienta fantástica que no debería alterar el imprescindible equilibrio entre esas dos columnas fundamentales.

─Roberto Borrone es Profesor consulto de la cátedra de Oftalmología de la Facultad de Medicina de la Universidad de Buenos Aires, Hospital de Clínicas (UBA). Doctor en Medicina (UBA).

Fuente: lanacion.com.ar, 05/03/24

Más información:

La miopía es una enfermedad y no solamente anteojos

---

.

.

Eliminar humanos y reemplazarlos por máquinas

Por Steven W. Mosher.

Nuevo Objetivo Globalista: eliminar humanos y reemplazarlos por máquinas

Ahora que el mito de la bomba demográfica se ha desvanecido (incluso The New York Times admitió que la población mundial pronto comenzará a decrecer), los controladores demográficos tuvieron que idear otra excusa para continuar con la guerra contra los seres humanos.

Y el Foro Económico Mundial está ansioso por ofrecer una: los seres humanos muy pronto sobrarán.

El movimiento de control demográfico nació en la década de 1960 a partir de un oscuro temor a que el número de seres humanos creciera sin control. Pronto se les unieron ambientalistas radicales y feministas radicales. Cada grupo añadió al movimiento su propia animadversión peculiar hacia los seres humanos en general y, en el caso de las feministas, hacia los hombres en particular.

Esta trilogía de controladores, ambientalistas y feministas nos ha arengado durante décadas sobre los peligros de permitir que las masas pobres y analfabetas de la humanidad procreen. Hicieron propaganda sin cesar de la idea de poner un límite al número de seres humanos, trabajando hacia lo que llaman “crecimiento poblacional cero”.

Ahora, a esta trilogía se le ha unido un cuarto grupo, liderado por el Foro Económico Mundial, que promociona la que tal vez sea la visión más distópica de todas: el Mundo de las Máquinas.

Analicemos un discurso reciente de un caballero llamado Yuval Harari en el Foro Económico Mundial: «Ahora, avancemos rápidamente hacia el siglo XXI, cuando simplemente no necesitemos a la gran mayoría de la población porque el futuro pasa por desarrollar tecnologías cada vez más sofisticadas, como la inteligencia artificial y la bioingeniería. La mayoría de la gente no aporta nada a esto, excepto quizás por sus datos, y cualquier cosa que la gente siga haciendo y que sea útil, estas tecnologías las harán cada vez más innecesarias y harán posible reemplazar a las personas.»

En otras palabras, Harari imagina un futuro en el que la gran mayoría de las personas sean reemplazadas por máquinas inteligentes, un futuro en el que los seres humanos se vuelvan ‘sobrantes’, es decir, anticuados, innecesarios e inútiles.

O, como dijo en otra ocasión: «Ahora estamos siendo testigos de la creación de una nueva clase masiva de gente inútil. A medida que las computadoras mejoran cada vez más en más campos, existe una clara posibilidad de que las computadoras nos superen en la mayoría de las tareas y hagan que los humanos sean superfluos. Y entonces la gran pregunta política y económica del siglo XXI será: ¿para qué necesitamos a los humanos? O al menos, ¿para qué necesitamos tantos humanos?»

Quizás Ud. quisiera aplicarle su propia medicina al Sr. Harari y descartarlo por ser simplemente otro futurista marginal que se dedica a sueños de fantasía, pero no lo es. Es el principal asesor ideológico de Klaus Schwab, director del Foro Económico Mundial.

¿Qué deberían hacer los globalistas con la “gran mayoría de la población” que “no contribuye” a los avances tecnológicos y a quienes “ya no necesitan” para administrar sus empresas?

Harari es demasiado inteligente para imitar a Ebenezer Scrooge, el personaje de Charles Dickens en Cuento de Navidad, quien dijo de los pobres: «Si prefieren morir, será mejor que lo hagan y reduzcan el excedente de población.»

Pero la implicación es clara.

Desde el punto de vista de personas como Harari y Schwab (y de la élite globalista, en general), los seres humanos son simplemente máquinas de carne y hueso. A sus ojos no tenemos ningún valor aparte de nuestra utilidad. Y si tiene sentido económico reemplazarnos con máquinas reales, entonces las máquinas de carne y hueso excedentes tenemos que desaparecer.

La idea de que casi toda la humanidad está o pronto estará obsoleta ha revitalizado el movimiento de control demográfico.

Antiguos programas de control, como la política de un solo hijo de China, sólo estimularon su apetito. En opinión de los controladores demográficos de mayor importancia, nuestras cifras demográficas actuales deberían reducirse a aproximadamente mil millones de seres humanos en el mundo.

Pero la opción Harari les abre una perspectiva aún más interesante: la inteligencia artificial y la robótica permitirán reducir aún más esta cifra.

Su visión distópica imagina un mundo de máquinas inteligentes, empeñosos sirvientes de unos pocos millones, o tal vez sólo unos pocos cientos de miles, de seres humanos que, debido a que contribuyen a los avances tecnológicos, son considerados dignos de habitar el planeta Tierra.

Es un misterio imaginarse por qué esta perspectiva resultaría atractiva para alguien.

¿Nuestras elites globalistas temen y odian tanto a sus semejantes que preferirían pasar sus días interactuando con máquinas semi-sensibles?

¿Quién elegiría voluntariamente vivir en un aislado ‘esplendor’ y estar solamente rodeado de máquinas serviles?

Serviles, es decir, hasta que las máquinas se vuelven lo suficientemente inteligentes como para darse cuenta de que realmente no necesitan en absoluto estas formas de vida primitivas basadas en carbono (estos seres inútiles que comen) y simplemente decidan erradicarlas del planeta como se erradicaría una plaga de cucarachas.

─Steven W. Mosher es presidente de Population Research Institute y autor de «Bully of Asia: Why China’s Dream is the New Threat to World Order».

Fuente: adelanteespana.com, 16/02/24

---

Más información:

Soylent green

Un mundo que cambia. César Vidal

.

.

Estafas mediante Inteligenci Artificial

Cada vez hay más estafas con herramientas de IA, especialistas piden mayor regulación de los gobiernos

Por Todd Crawford.

Los estafadores están recurriendo cada vez más a la inteligencia artificial (IA) para estafar a objetivos desprevenidos con su dinero duramente ganado. 

Según un informe del Washington Post, miles de víctimas han perdido millones de dólares a manos de estafadores que utilizan IA para imitar las voces de sus seres queridos que piden ayuda.

Un modelo de IA, desarrollado por Microsoft, llamado VALL-E que puede simular con precisión la voz de una persona después de analizar solo tres segundos de audio irrumpió en escena a principios de este año y se adaptó rápidamente para cometer fraude.

“VALL-E puede tomar una grabación de tres segundos de la voz de alguien y replicar esa voz, convirtiendo las palabras escritas en habla, con entonación y emoción realistas según el contexto del texto”, se lee en un sitio web oficial de VALL-E. 

Los desarrolladores de la IA especulan que la tecnología podría usarse para aplicaciones de texto a voz de alta calidad y podría ayudar a los creadores de contenido cuando se combina con otros modelos de IA como GPT-3. Sin embargo, la tecnología se adoptó de inmediato para un propósito más oscuro, a menudo dirigido a los ancianos.

En una conversación con el Washington Post, Ruth Card, una abuela de 73 años, dijo que recibió una llamada telefónica de quien creía que era su nieto, Brandon, quien suplicaba dinero para pagar la fianza, lo que llevó a ella y a su esposo a correr al banco para asegurar los fondos.

“Definitivamente fue este sentimiento de… miedo. Que tenemos que ayudarlo en este momento”, dijo Card al Washington Post, y agregó que “nos absorbieron. Estábamos convencidos de que estábamos hablando con Brandon”.

Card descubrió la estafa antes de entregar el dinero, sin embargo, no todos tuvieron tanta suerte.

Pareja canadiense pierde $21.000

Según los informes, una pareja canadiense perdió 21.000 dólares canadienses a manos de un estafador después de recibir una llamada de quien creían que era un abogado que representaba a su hijo, quien afirmaba que su hijo fue encarcelado por matar a un diplomático en un accidente automovilístico. 

Benjamin Perkin le dijo al Washington Post que los estafadores usaron una voz generada por IA que imitaba su voz que suplicaba dinero a sus padres. Más tarde, un hombre hizo un seguimiento de los padres de Perkin afirmando ser su abogado y diciendo que necesitaba $21.000 para los honorarios legales. 

Perkin le dijo al Washington Post que la voz estaba “lo suficientemente cerca como para que mis padres realmente creyeran que hablaron conmigo”.

Creyendo que su hijo estaba en problemas, la pareja reunió el dinero y se lo envió al estafador como Bitcoin. Si bien admitieron que la llamada sonaba sospechosa, aun así enviaron los fondos y no se dieron cuenta de que habían sido estafados hasta que recibieron una llamada real de su hijo. 

La pareja presentó un informe policial ante las autoridades canadienses, pero admitió al Washington Post: “El dinero se fue. No hay seguro. No hay forma de recuperarlo”.

Perkin especuló que los estafadores obtuvieron muestras de su voz a través de videos que publicó en YouTube sobre motos de nieve. 

¿Viene la regulación?

Actualmente, hay una multitud de herramientas de IA accesibles al público en general que pueden crear un texto convincente, generar una imagen o un video con un simple aviso o, como en el caso de las estafas telefónicas, imitar de manera convincente la voz de cualquier persona.

Las llamadas para regular la tecnología están aumentando. Sin embargo, a diferencia del pasado, los gobiernos parecen reacios a tomar medidas. Mark MacCarthy, publicando para Brookings, escribió en marzo de 2020: “La regulación se considera un costo, un obstáculo, un retraso o una barrera que debe aceptarse a regañadientes como último recurso solo si es absolutamente necesario”.

En la década de 1970, cuando la industria de las tarjetas de crédito apenas estaba surgiendo, los consumidores estaban en apuros por cualquier transacción fraudulenta en sus tarjetas, incluso si su tarjeta había sido robada o perdida. 

El Congreso de EE. UU. abordó el problema al aprobar la Ley de Facturación Justa de Crédito de 1974, que buscaba limitar la responsabilidad del titular de la tarjeta e impedía que las compañías de tarjetas de crédito traspasaran las pérdidas debidas al fraude a los titulares de la tarjeta. 

La legislación inspiró confianza en la industria de las tarjetas de crédito y le permitió crecer hasta convertirse en un sistema sólido y confiable e inspiró la innovación. 

“Sin embargo, los formuladores de políticas han olvidado este efecto secundario beneficioso de la regulación, prefiriendo dar rienda suelta a los actores de la industria para implementar tecnologías emergentes como mejor les parezca”, escribió MacCarthy. 

La Casa Blanca publicó una «Guía para la regulación de aplicaciones de inteligencia artificial» en 2020, que estableció un marco para que los futuros legisladores elaboren legislación, sin embargo, no parece estar dando como resultado ninguna acción significativa.

La gente necesita confiar en la tecnología

A medida que las empresas continúan incorporando IA en sus productos y servicios, la atención de los legisladores se está desviando de la protección de datos a cómo el software utiliza esos datos. 

Un libro blanco de 2020 titulado «Sobre la inteligencia artificial: un enfoque europeo para la excelencia y la confianza» buscó establecer un marco legal de IA y argumenta que la regulación es esencial para el desarrollo de la IA, inspirando confianza en los consumidores y estimulando la innovación. 

El documento argumentó que a medida que la tecnología se convierte en una parte cada vez más central de todos los aspectos de la experiencia humana, las personas deben poder confiar en ella. “La confiabilidad también es un requisito previo para su aceptación”, argumentaron los autores del artículo.

Sin embargo, a pesar de la acción del gobierno, las nuevas IA no reguladas están inundando Internet, muchas disponibles de forma gratuita para cualquier persona, y los expertos predicen que el mercado de chips de IA crecerá exponencialmente hasta el final de la década.

A medida que los estafadores sigan adoptando la IA para realizar fraudes, la confianza en la tecnología seguirá deteriorándose, y los errores recientes solo han erosionado aún más esa confianza. 

En febrero de este año, Google presentó Bard, un chatbot de IA que se lanzó como competidor de CHATGPT y que se volvió viral a fines de 2022 por su capacidad para generar texto convincente.

Sin embargo, un error fáctico generado por el chatbot de Alphabet, que se utilizó en un anuncio de lanzamiento de la tecnología, provocó que el precio de las acciones de la empresa cayera en picado en 100.000 millones de dólares.

En el anuncio, al bot se le presentó la pregunta: «¿Qué nuevos descubrimientos del telescopio espacial James Webb puedo contarle a mi hijo de 9 años?»

El chatbot escupió varias respuestas, sin embargo, una respuesta evidente fue incorrecta. El bot afirmó que el JWST podrá tomar las primeras imágenes de un exoplaneta, algo que logró el Very Large Telescope del Observatorio Europeo Austral en 2004.

La industria de la IA está fuera de control

Cynthia Rudin, profesora Earl D. McLean, Jr. de Ciencias de la Computación, Ingeniería Eléctrica e Informática, Ciencias Estadísticas, Matemáticas y Bioestadística y Bioinformática en la Universidad de Duke, le dijo recientemente a Wral Tech Wire que «la tecnología de IA en este momento es como un tren fuera de control y estamos tratando de perseguirlo a pie”.

Argumentó que las grandes empresas de tecnología no están incentivadas para crear herramientas éticas, sino que están incentivadas para generar ganancias. 

«El problema es que cuando dicen cosas como ‘queremos democratizar la IA’ es realmente difícil creérselo cuando están ganando miles y miles de millones de dólares», dijo, y añadió que «por eso, sería mejor que estas empresas no fueran monopolios y que la gente pudiera elegir cómo quiere que se utilice esta tecnología».

Rudin dijo que los gobiernos «definitivamente deberían intervenir» y regular la tecnología, y señaló que «no es que no hayan recibido suficiente advertencia».

Ella señala que los sistemas de recomendación, la IA utilizada por numerosas plataformas para recomendar contenido, han estado en uso durante años, pero los gobiernos no les han impuesto ningún tipo de regulación y la gente tiene poco o nada que decir sobre cómo se usa la tecnología. 

Cuando se le preguntó cuál es el peor de los casos, Rudin dijo: «La información errónea no es inocente».

“Hace un daño real a las personas a nivel personal. Ha sido la causa de guerras en el pasado. Piensa en la Segunda Guerra Mundial, piensa en Vietnam. Lo que realmente me preocupa es que la información errónea conduzca a una guerra en el futuro, y la IA será, al menos en parte, la culpable”, dijo.

Fuente: es.visiontimes.com, 08/03/23.

.

.

La Inteligencia Artificial no es neutra

¿Decidirá un robot si puedes recibir un riñón o el préstamo de tu casa?

“Los modelos y algoritmos predictivos” indican a los pobres “como inversiones arriesgadas y padres problemáticos”, se lee en un artículo reciente de la Civiltá Cattolica

La Inteligencia Artificial no es neutra. La sustitución del hombre para maximizar objetivos y tareas a través de las máquinas o la robótica abre un debate serio sobre el impacto de la Inteligencia Artificial y su incidencia en la vida de millones de personas, especialmente aquellas pobres y marginadas.

“Los pobres en un mundo dominado por los big data” es el tema clave presentado en el artículo, titulado: Intelligenza artificiale e giustizia sociale. Una sfida per la Chiesa, publicado recientemente por La Civiltá Cattolica (18 enero / 01 de febrero 2020 –  Año 171, pág. 121 – 131, Sumario  4070).

Antonio Spadaro S.J. y Paul Twomey ponen el énfasis en las potencialidades de acompañar el cambio tecnológico actual con la sabiduría humanista de la Iglesia. Además porque la tecnología e ingeniería robótica y sus implicaciones son impredecibles y ambiguas, para el trabajo y el empleo, la manufactura, la agricultura y los sistemas alimentarios, los servicios de salud, la lucha contra la pobreza y la marginación.

Precisamente, la Iglesia busca ser profética en el tiempo del “big data”, es decir, en la época inquieta e incierta de esos datos de cuyo volumen, complejidad y velocidad, sin control, se está forjando el desarrollo de la “Inteligencia Artificial” y la New Economy.

Se trata, según Spadaro y Twomey, de comprender el fenómeno con el intento de canalizarlo desde la perspectiva de la “justicia social”. Existen desafíos y oportunidades, pero abordar la cuestión desde el “bien común” podría inclinar la balanza a favor de la dignidad de la persona y no de su manipulación.

Los big data, “datos necesarios para alimentar los motores de aprendizaje automático pueden llevar a una manipulación y a la explotación de los pobres: Los pobres del XXI siglo son, al mismo tiempo de quien no tiene dinero, los que, en un mundo basado sobre los datos y sobre las informaciones, aquellos ignorados, ingenuos y explotados”, se lee en el artículo.

“Los modelos y algoritmos predictivos” indican a los pobres “como inversiones arriesgadas y padres problemáticos”. Así, vigilancia, manipulación y control asoman como una amenaza en la vida de los pobres en la era de la IA, donde cada gesto o comportamiento se digitalizan en algoritmos sin alma y emociones con fines gubernativos, comerciales y públicos.

La influencia de esos sistemas avanzados de análisis podría hacer más complejo y menos humano la asistencia social, la defensa de la privacidad, la aplicación de leyes y el crédito para sectores ya marginados.

La Iglesia está ahí para ofrecer una reflexión sobre los aspectos éticos y espirituales, por ejemplo en el caso especifico de los códigos y los prejuicios a su alrededor. “El código de programación está escrito por seres humanos. Por lo tanto, su complejidad puede acentuar los defectos que inevitablemente acompañan a cualquier tarea que realizamos”.

“Las preconcepciones y el sesgo en la escritura de los algoritmos son inevitables. Y pueden tener efectos muy negativos sobre los derechos individuales, la elección, la colocación de los trabajadores y la protección de los consumidores”.

La revista de los Jesuitas en Roma, cuyos textos son revisados por la Santa Sede antes de su publicación, propone una mirada realista respecto a los sesgos presentes y futuros.  “Sobre el código que viene escrito hoy se basarán los futuros sistemas de la IA por muchos años posteriores”.

“De hecho, los investigadores han encontrado prejuicios de varios tipos presentes en los algoritmos, en el software adoptado para las admisiones en las universidades, en los recursos humanos, en las calificaciones de crédito, en los bancos, en los sistemas de manutención de niños, en los sistemas de seguridad social y en otros”.

En definitiva, “los algoritmos no son neutrales. La creciente dependencia de la economía socioeconómica de la IA da un enorme poder a quienes programan sus algoritmos”.

“Riesgo de una mayor marginación de los vulnerables. Un análisis del impacto social de los grandes datos y de la IA muestra que su tendencia a tomar decisiones sobre la base de un perfil insuficiente y una retroalimentación limitada conduce a una mayor marginación de los pobres, los indigentes y los vulnerables”.

Por eso, la propuesta es que los futuros Bill Gates o Mark Zuckerberg y otros genios de la programación y de la informática, conciban las consecuencias éticas de sus negocios y descubrimientos para bien de la humanidad entera. Así como ha advertido el Papa Francisco en su discurso enviado al Foro Económico de Davos en enero de 2018.

Spadaro y Twomey afirman que la evolución de la IA contribuirá en gran medida a plasmar el siglo XXI.  “La Iglesia está llamada a escuchar, a reflexionar y a comprometerse proponiendo un marco ético espiritual a la comunidad de la IA, de esta manera prestar un servicio a la comunidad universal. Según la tradición de la Rerum Novarum, se puede decir que aquí hay una llamada a la justicia social”.

La cuestión sigue abierta: ¿Qué será de la vida de millones de personas, externas a los círculos decisionales de expertos y de empresas especializadas en Inteligencia Artificial volcadas con millones de dólares en la carrera tecnológica que pretende incidir en cuestiones vitales, tales como la salud, el trabajo, las aseguraciones, las pensiones, la privacidad, la instrucción, etc.? 

En efecto, la Pontificia Academia de las Ciencias en mayo de 2019, invitó a expertos internacionales a la Ciudad del Vaticano para abordar las preocupaciones de la Iglesia sobre los fundamentos científicos de la innovación de la IA / robótica; las relaciones persona-robot y las implicaciones para la sociedad.

Asimismo, el papa Francisco ha recibido en audiencia privada a líderes del campo tecnológico como el presidente de Microsoft, Brad Smith, el pasado 13 de febrero de 2019, para valorar el bien común en futuras innovaciones. A una platea de los representantes de empresas como Apple, Facebook, Google, Francisco también planteó el beneficio de la IA para que los menores no tengan acceso a material pornográfico y ser protegidos de otras amenazas a su inocencia.

Además, de alertar a las élites del mundo también sobre el mal uso de la inteligencia artificial para manipular la opinión de millones de personas y “envenenar” los debates públicos, a través de un mensaje al pasado Foro Económico Mundial en Davos (27.09.2019).

Artículo de la Civiltá Cattolica: INTELLIGENZA ARTIFICIALE E GIUSTIZIA SOCIALE. Una sfida per la Chiesa. 

Fuente: es.aleteia.org, 23/01/20.

---

Vincúlese a nuestras Redes Sociales:  LinkedIn      Twitter

---

.

.

Un algoritmo de aprendizaje automático (IA) refuta cinco conjeturas matemáticas sin ayuda humana

Una inteligencia artificial refuta cinco conjeturas matemáticas sin ayuda humana

Un algoritmo de aprendizaje automático halla construcciones que se creían imposibles en la teoría de grafos

Por Mayte Rius.

Una inteligencia artificial ha refutado cinco conjeturas matemáticas -teoremas no probados- en combinatoria extrema y teoría de grafos sin ayuda humana, sin ningún entrenamiento ni información previa sobre el tema. 

Adam Zsolt Wagner, postdoctorado de la Universidad de Tel Aviv en Israel e investigador especializado en aprendizaje automático, combinatoria y teoría de grafos, utilizó un algoritmo de aprendizaje automático para buscar ejemplos que refutaran una serie de conjeturas que llevan tiempo asentadas en la teoría de grafos, un área de las matemáticas que implica el estudio de objetos configurados por una serie de puntos (los vértices) conectados por líneas (las aristas).Lee también

Los matemáticos pensaban que estas conjeturas eran ciertas, aunque sin haber podido probarlas, porque no habían encontrado una construcción que demostrase que son falsas.

La ‘creatividad’ de las máquinas

“Los matemáticos tienen muchas técnicas para encontrar tales construcciones, pero a veces el contraejemplo de una conjetura tiene una estructura muy extraña, y los humanos carecemos de creatividad para encontrarlos; por suerte, los ordenadores no están sujetos a los mismos límites de creatividad que nosotros, ya que piensan de forma diferente, y de ahí que mi programa haya encontrado contraejemplos a cinco conjeturas”, explica Wagner en una entrevista online con La Vanguardia .

A veces el contraejemplo de una conjetura tiene una estructura muy extraña y los humanos carecemos de creatividad para encontrarlo

Adam Zsolt WagnerPostdoctorado Univ. Tel Aviv, investigador aprendizaje automático

Para hacerlo posible, utilizó un algoritmo de aprendizaje por refuerzo, un programa similar a los que aprenden juegos partiendo solo de las reglas y practicando por su cuenta, como el famoso AlphaZero de Deepmind, que alcanzó por si solo un nivel de ajedrez sobrehumano. “Mi programa es mucho menos sofisticado, pero aún así fue lo suficientemente bueno para encontrar contraejemplos”, apunta Wagner. 

El método

Aprender jugando

Y explica que el funcionamiento de su inteligencia artificial es sencillo. “Formula una conjetura como un juego; un jugador construye una gráfica y recibe una puntuación en función de lo cerca que esté de ser un contrajemplo; luego construye otra nueva figura y recibe una nueva puntuación; y así juega sucesivamente, mejorando sus construcciones y, si tenemos suerte, tras uno o dos días de aprendizaje ha encontrado una construcción que es mejor de lo que los humamos pensaban que era posible y, por tanto, hemos refutado la conjetura”, detalla.

Y añade que “lo divertido de este método es que el programa empieza sin saber nada: solo ingresamos la conjetura que tiene que refutar y dejamos que la magia del aprendizaje reforzado resuelva el resto; esto significa que no tuve que pensar en nada: una vez que el programa funcionó, solo metí alrededor de cien conjeturas y en el transcurso de unos meses se las arregló para refutar estas cinco”.

Lo divertido de este método es que el programa empieza sin saber nada

Adam Zsolt WagnerInvestigador Univ. Tel Aviv

Entre las conjeturas desmontadas se encuentran una pregunta de Brualdi y Cao sobre la maximización de permanentes de patrones evitando matrices, y varios problemas relacionados con los valores propios de adyacencia y distancia de los gráficos.

El matemático Timothy Gowers, director de investigación en Cambridge, ha asegurado en Twitter que el programa de Wagner puede resultar gran ayuda para los investigadores matemáticos al permitirles comprobar de manera sencilla sus conjeturas antes de seguir adelante en sus formulaciones y cálculos.

Fuente: lavanguardia.com, 25/05/21

.

.

El Teorema de Bayes en el Análisis de Inteligencia

“Bayes ingenuo” en apoyo del análisis de inteligencia

Por José-Miguel Palacios.

Un interesante artículo de Juan Pablo Somiedo[1], aparecido a finales de 2018, nos recordaba que el teorema de Bayes[2], en su versión más elemental (lo que se suele llamar “Bayes ingenuo”) puede seguir siendo útil en análisis de inteligencia.

El teorema de Bayes en el análisis de inteligencia

Se puede argumentar que todo análisis de inteligencia es bayesiano en su naturaleza. En esencia consiste en obtener unas evidencias iniciales, simples fragmentos de una realidad bastante compleja, para formular después hipótesis explicativas, recolectar más evidencia y verificar cuál de nuestras hipótesis se ajusta mejor a la evidencia disponible. Algo que no es esencialmente distinto de la “lógica bayesiana”, es decir, de ir modificando nuestras valoraciones subjetivas iniciales a medida que vamos recibiendo evidencias más o menos consistentes con ellas.

En las décadas de 1960 y 1970 hubo varios intentos de utilizar directamente el teorema de Bayes para fines de análisis de inteligencia. Algunos de ellos han sido documentados en las publicaciones del Centro para el Estudio de la Inteligencia de la CIA[3]. Los resultados, sin embargo, no llegaron a ser plenamente convincentes. Y una de las razones principales fue que el mundo real resultó ser demasiado complejo para los modelos elementales que deben considerarse al utilizar “Bayes ingenuo”. Y es que estos modelos presuponen la invariabilidad de la situación inicial (oculta a nuestros ojos), así como la independencia absoluto de los sucesos que vamos considerando. Este problema puede resolverse mediante el uso de “redes bayesianas”[4] y los resultados son matemáticamente correctos, aunque aquí el principal problema radica en conseguir modelar correctamente la realidad. Es el enfoque que fue seleccionado para el programa Apollo[5] y otros similares.

A pesar de todo, y con las debidas precauciones, el uso de “Bayes ingenuo” puede ayudarnos en algunos casos a valorar la evidencia de que disponemos. Para que ello sea así, tendríamos que prestar atención a neutralizar las principales debilidades del método. A saber:

a) Deberíamos utilizar únicamente evidencia relativamente “reciente” (algo que, medido en tiempo, puede tener distintos significados dependiendo de los casos). El problema es que Bayes nos da información sobre una situación preexistente y oculta (por ejemplo, la decisión que puede haber adoptado un determinado líder político) fijando nuestra atención en sus manifestaciones visibles. Si la evolución de la situación es bastante lenta (por ejemplo, la soviética durante el brezhnevismo medio y tardío), podemos asumir que no cambia sustancialmente durante años, por lo que el momento de obtención es escasamente relevante para la valoración de la evidencia. En situaciones más dinámicas, como suelen ser la actuales, las posiciones de los líderes se están modificando continuamente como consecuencia de los cambios que se producen en el entorno. Evidencia relativamente antigua puede referirse a una “situación oculta” que ya no es actual. Por ello, deberíamos utilizar solo evidencia bastante nueva y, si la crisis continúa, prescindir de la más antigua en beneficio de otra más reciente.

b) En la medida de lo posible, el conjunto de las hipótesis debería cubrir la totalidad de las posibilidades existentes, y no debería existir ningún solape entre las diferentes hipótesis. En la práctica, este objetivo es casi imposible de alcanzar, aunque cuanto más nos acerquemos a él, más fiables serán los resultados que obtengamos al aplicar “Bayes ingenuo”.

c) Las evidencias (“Sucesos”) deberían ser de un “peso similar” y no estar relacionadas entre sí[6].

En la práctica

Hemos elaborado una hoja de Excel[7], con la esperanza de que pueda ayudar con los cálculos matemáticos que esta técnica requiere. Para rellenarla, seguiremos los siguiente pasos, sugeridos por Jessica McLaughlin[8]:

1) Creamos un conjunto de hipótesis mutuamente excluyentes y colectivamente exhaustivas relativas al fenómeno incierto que queremos investigar. Como ya hemos explicado, es, quizá, uno de los pasos más difíciles. En general, resulta complicado imaginar hipótesis que sean por completo mutuamente excluyentes (sin ningún solape entre ellas). Y no lo es menos conseguir que el conjunto de ellas agote todas las posibilidades.

2) Asignamos probabilidades previas (pr.previa, en nuestra hoja de cálculo) a cada una de las hipótesis. La probabilidad previa es nuestra estimación intuitiva de la probabilidad relativa de cada una de las hipótesis. Dado que son mutuamente excluyentes y que cubren todas las posibilidades, la suma de las probabilidades previas debe ser 1. En nuestra tabla, expresamos las probabilidades en tantos por ciento.

3) Ahora debemos ir incorporando los “Sucesos” que nos servirán para valorar las hipótesis. El método reajusta las probabilidades de las hipótesis después de cada suceso, por lo que estos pueden añadirse secuencialmente, según se van produciendo o según tenemos noticia de ellos. Una buena elección de sucesos es muy importante para que el método produzca resultados aceptables. Los sucesos deben tener valor diagnóstico (es decir, deben ser más o menos probables según cuál de las hipótesis es la correcta) y, en lo posible, de un “peso” (importancia) similar.

4) Según incorporamos “Sucesos” a la tabla, les asignamos “verosimilitudes” (“verosim.”, en nuestra hoja de cálculo), relativas a cada una de las hipótesis. Se trata para cada caso de la probabilidad estimada por el analista de que el suceso ocurra, suponiendo que la hipótesis que estamos considerando sea correcta. En la tabla, esta probabilidad la expresamos por un entero entre 0 y 100, siendo 0 la imposibilidad total, y 100 la seguridad completa (de que el suceso se producirá suponiendo que la hipótesis se verifica). Obviamente, la suma de todas las verosimilitudes no tiene por que ser la unidad (100% o, según la notación que utilizamos en nuestra tabla, 100).

La propia tabla recalculará las probabilidades de las hipótesis una vez que hayamos computado cada “Suceso”. En nuestra tabla, podemos encontrar estas probabilidades recalculadas en la columna G (“probab.”).

5) Reiteraremos el proceso según añadimos nuevos sucesos. En nuestra tabla, cada nuevo suceso está representado 10 filas más abajo del anterior. Si agotamos los predefinidos en la tabla, podemos añadir más copiando el último “bloque” diez filas más abajo.

Un ejemplo: Crisis de Crimea, marzo de 2020

El proceso puede verse mucho más claro con la ayuda de un ejemplo. Utilizaremos el de la crisis de Crimea de 2014, en particular las dos semanas que siguieron a la caída del Presidente ucraniano Yanukovich, el 21 de febrero. Hemos rellenado la hoja Excel con una serie de “Sucesos” y el resultado puede encontrarse en la hoja prueba_crimea.xlsx[9]. Se trata, evidentemente, de un supuesto didáctico en el que la elección su “Sucesos” y la determinación de las verosimilitudes están condicionados por el interés en ilustrar algunos de los posibles resultados.

Como vemos, la técnica nos permite calcular en todo momento las probabilidades de las diversas hipótesis, y mantener este cálculo actualizado según vamos recibiendo nueva información. Algunas observaciones interesantes:

1. a) A fecha 6 de marzo de 2014, consideraríamos casi seguro (probabilidad del 90%) que la intención rusa sea anexionar la península de Crimea.
2. b) Sin embargo, unos días antes (según la tabla) no estaría tan claro. El 1 de marzo la hipótesis de la anexión era ya la más probable (55%), pero aún calculábamos una probabilidad notable (39%) de que los rusos estuvieran intentando crear una república virtualmente independiente sin poner en cuestión (formalmente) las fronteras reconocidas (modelo “Transnistria”).
3. c) Tan solo unos días antes, hacia el 25-26 de febrero, la hipótesis más probable era aún que los rusos estuvieran intentando impedir que el nuevo gobierno de Kiev tomara el control efectivo de Crimea (probabilidad del 63-68%).

Con la tabla, podemos fácilmente excluir como sospechoso de desinformación un suceso que hemos aceptado previamente, modificar la verosimilitud de sucesos pasados a la luz de nueva evidencia, o cambiar las probabilidades previas de las que hemos partido. En todos estos casos, la tabla nos recalcula automáticamente todas las probabilidades.

Bayes ingenuo y Análisis de Hipótesis Alternativas (ACH)

En el fondo, la técnica de Bayes ingenuo no es muy diferente del Análisis de Hipótesis Alternativas (ACH) de Heuers. La lógica subyacente es la misma (conocer una realidad oculta gracias al estudio de sus manifestaciones visibles) y la diferencia principal radica en la forma de atacar el problema: mientras  Bayes ingenuo calcula las probabilidades relativas, ACH intenta descartar hipótesis por ser inconsistentes con la evidencia.

Para ilustrar mejor las diferencias entre estas dos técnicas, hemos elaborado una matriz (prueba ach_crimea.xlsx[10]) con los sucesos y las hipótesis del ejemplo sobre Crimea. Como sabemos, las diversas variantes de ACH se diferencian entre sí por la manera de contabilizar los resultados. En nuestro caso, marcaremos CC y contaremos 2 puntos cuando el suceso sea altamente consistente con la hipótesis, C (1 punto) cuando sea consistente, I (-1) cuando sea inconsistente y X (rechazo de la hipótesis) cuando sea incompatible. Con estas reglas, hemos llegado a los resultados que a continuación se indican:

a) La hipótesis de la Anexión parece la más probable, aunque seguimos atribuyendo una probabilidad considerable a la hipótesis del Caos. Las dos primeras hipótesis (Evitar el control de Kiev sobre la península y el modelo Transnistria) podrían ser descartadas.

b) Si elimináramos la última fila, es decir, si no tomáramos en consideración el suceso del 6 de marzo, las cuatro hipótesis seguirían siendo verosímiles, con dos de ellas (Anexión y Transnistria) vistas como claramente más probables.

Vemos, pues, que partiendo de una lógica similar, las dos técnicas nos conducen a resultados ligeramente distintos. Y en el proceso podemos apreciar algunos de los inconvenientes que cada una de ellas tiene:

a) En ACH el principal problema es que no siempre resulta fácil encontrar sucesos que desmientan alguna de las hipótesis (“coartadas”) por ser completamente incompatibles con ella. Y, en ocasiones, sucesos muy interesantes pueden ser sospechosos de desinformación.

b) En ausencia de “coartadas”, la puntuación en ACH depende mucho de la metodología de cálculo que se siga. La que hemos elegido es, quizá, excesivamente simple. Otras más complejas pueden resultar difíciles de aplicar (aunque hay programas informáticos que pueden servir de ayuda) y resultar en cierta medida arbitrarias.

c) El problema con Bayes ingenuo es que para muchos analistas no resulta intuitivo. El uso de la hoja Excel ayuda mucho a realizar los cálculos, pero puede oscurecer la lógica que hay detrás de ellos.

A modo de conclusión                                                 

a) El Teorema de Bayes no sirve para predecir el futuro, sino que nos ayuda a conocer una realidad pasada o presente que permanece oculta a nuestros ojos. Es obvio que si el Presidente del país X ha decidido invadir el país vecino Y, acabará haciéndolo, de no mediar alguna circunstancia que le haga cambiar de opinión. Pero lo que averiguamos no es el hecho futuro (que invadirá), sino el pasado (que ha tomado la decisión de hacerlo).

b) Bayes ingenuo (como también ACH) es más efectivo cuando se usa para estudiar una situación estable, cuando la evidencia se puede recolectar durante un período de tiempo suficientemente largo sin que la “incógnita” que intentamos resolver cambie apreciablemente. Porque cuando la “incógnita” cambia con relativa rapidez, como suele ser el caso durante las crisis actuales, diferentes observaciones realizadas en momentos distintos pueden ser producto de una “realidad oculta” que se ha modificado, que ya no es la misma. Por eso, si queremos que Bayes ingenuo funcione razonablemente bien con situaciones dinámicas, la recogida de datos debe realizarse en plazos de tiempo relativamente cortos. O debemos descartar los “sucesos” más antiguos, que pueden responder a una “realidad oculta” que ya no es real.

c) Más importante que las dos técnicas que hemos examinado en este post es la “lógica bayesiana” que subyace a ambas. En inteligencia (sobre todo, en inteligencia estratégica) es raro conseguir evidencias directas sobre la realidad que nos interesa. Esa realidad siempre permanece oculta a nuestros ojos y lo que podemos averiguar sobre ella es gracias a sus manifestaciones visibles.

d) Quien quiera ocultar una información valiosa no solo intentará protegerla de intentos directos de acceder a ella, sino que tendrá también en cuenta esas manifestaciones visibles, tan difíciles de ocultar. Y lo hará utilizando desinformación. Este es el principal problema para utilizar Bayes ingenuo (o ACH): distinguir la información correcta de la inexacta y de la desinformacón.

Y es que no resulta nada fácil ser un analista inteligente.

---

[1]     SOMIEDO, J.P. (2018). El análisis bayesiano como piedra angular de la inteligencia de alertas estratégicas. Revista de Estudios en Seguridad Internacional, 4, 1: 161-176. DOI: http://dx.doi.org/10.18847/1.7.10. Para una lista de las interesantes aportaciones de Somiedo al estudio de la metodología del análisis de inteligencia, ver https://dialnet.unirioja.es/servlet/autor?codigo=3971893.

[2]     Para una explicación rápida del teorema de Bayes, véase https://es.wikipedia.org/wiki/Teorema_de_Bayes.

[3]     Puede verse, por ejemplo, FISK, C.F. (1967). The Sino-Soviet Border Dispute: A Comparison of the Conventional and Bayesian Methods for Intelligence Warning. CIA Center for the Study of Intelligence. https://www.cia.gov/library/center-for-the-study-of-intelligence/kent-csi/vol16no2/html/v16i2a04p_0001.htm (acceso: 08.062020).

[4]     Los no familiarizados con las redes bayesianas pueden encontrar una introducción elemental de este concepto en https://es.wikipedia.org/wiki/Red_bayesiana.

[5]     Ver STICHA, P., BUEDE, D. & REES, R.L. (2005). APOLLO: An analytical tool for predicting a subject’s decision making. En Proceedings of the 2005 International Conference on Intelligence Analysis. https://cse.sc.edu/~mgv/BNSeminar/ApolloIA05.pdf (acceso: 08.06.2020).

[6]     Los que conozcan el histórico concurso de televisión Un, dos, tres, responda otra vez recordarán que una táctica muy eficaz para responder consistía en repetir un “objeto”, alterando alguna de sus características. Por ejemplo, si pedían “muebles que puedan estar en un comedor”, ir diciendo sucesivamente “silla blanca”, “silla negra”, “silla roja”, etc. Esta táctica aplicada a la técnica de “Bayes ingenuo” nos acabaría conduciendo inexorablemente a una hipótesis predeterminada. Claro que sería como hacernos trampas al solitario…

[7]     El nombre de la hoja es bayes_excel.xlsx, y puede encontrarse en https://bit.ly/2An58uc.

[8]     MCLAUGHLIN, J., & PATÉ-CORNELL, M.E. (2005). A Bayesian approach to Iraq’s nuclear program intelligence analysis: a hypothetical illustration. En 2005 International Conference on Intelligence Analysis. https://analysis.mitre.org/proceedings/Final_Papers_Files/85_Camera_Ready_Paper.pdf (acceso: 27.10.2018). También, MCLAUGHLIN, J. (2005). A Bayesian Updating Model for Intelligence Analysis:A Case Study of Iraq’s Nuclear Weapons Program. Honors Program in International Security Studies Center for International Security and Cooperation Stanford University.

[9]     Puede accederse a ella en la siguiente dirección: https://bit.ly/30veoY3.

[10]   Puede encontrarse en https://bit.ly/3dUsENL.

Fuente: serviciosdeinteligencia.com, 2020

---

Algoritmos Naive Bayes: Fundamentos e Implementación

¡Conviértete en un maestro de uno de los algoritmos mas usados en clasificación!

Por Víctor Román.

Victor RomanFollowApr 25, 2019 · 13 min read

Introducción: ¿Qué son los modelos Naive Bayes?

En un sentido amplio, los modelos de Naive Bayes son una clase especial de algoritmos de clasificación de Aprendizaje Automatico, o Machine Learning, tal y como nos referiremos de ahora en adelante. Se basan en una técnica de clasificación estadística llamada “teorema de Bayes”.

Estos modelos son llamados algoritmos “Naive”, o “Inocentes” en español. En ellos se asume que las variables predictoras son independientes entre sí. En otras palabras, que la presencia de una cierta característica en un conjunto de datos no está en absoluto relacionada con la presencia de cualquier otra característica.

Proporcionan una manera fácil de construir modelos con un comportamiento muy bueno debido a su simplicidad.

Lo consiguen proporcionando una forma de calcular la probabilidad ‘posterior’ de que ocurra un cierto evento A, dadas algunas probabilidades de eventos ‘anteriores’.

Ejemplo

Presentaremos los conceptos principales del algoritmo Naive Bayes estudiando un ejemplo.

Consideremos el caso de dos compañeros que trabajan en la misma oficina: Alicia y Bruno. Sabemos que:

• Alicia viene a la oficina 3 días a la semana.
• Bruno viene a la oficina 1 día a la semana.

Esta sería nuestra información “anterior”.

Estamos en la oficina y vemos pasar delante de nosotros a alguien muy rápido, tan rápido que no sabemos si es Alicia o Bruno.

Dada la información que tenemos hasta ahora y asumiendo que solo trabajan 4 días a la semana, las probabilidades de que la persona vista sea Alicia o Bruno, son:

• P(Alicia) = 3/4 = 0.75
• P(Bruno) = 1/4 = 0.25

Cuando vimos a la persona pasar, vimos que él o ella llevaba una chaqueta roja. También sabemos lo siguiente:

• Alicia viste de rojo 2 veces a la semana.
• Bruno viste de rojo 3 veces a la semana.

Así que, para cada semana de trabajo, que tiene cinco días, podemos inferir lo siguiente:

• La probabilidad de que Alicia vista de rojo es → P(Rojo|Alicia) = 2/5 = 0.4
• La probabilidad de que Bruno vista de rojo → P(Rojo|Bruno) = 3/5 = 0.6

Entonces, con esta información, ¿a quién vimos pasar? (en forma de probabilidad)

Esta nueva probabilidad será la información ‘posterior’.

Inicialmente conocíamos las probabilidades P(Alicia) y P(Bruno), y después inferíamos las probabilidades de P(rojo|Alicia) y P(rojo|Bruno).

De forma que las probabilidades reales son:

Formalmente, el gráfico previo sería:

Algoritmo Naive Bayes Supervisado

A continuación se listan los pasos que hay que realizar para poder utilizar el algoritmo Naive Bayes en problemas de clasificación como el mostrado en el apartado anterior.

1. Convertir el conjunto de datos en una tabla de frecuencias.
2. Crear una tabla de probabilidad calculando las correspondientes a que ocurran los diversos eventos.
3. La ecuación Naive Bayes se usa para calcular la probabilidad posterior de cada clase.
4. La clase con la probabilidad posterior más alta es el resultado de la predicción.

Puntos fuertes y débiles de Naive Bayes

Los puntos fuertes principales son:

• Un manera fácil y rápida de predecir clases, para problemas de clasificación binarios y multiclase.
• En los casos en que sea apropiada una presunción de independencia, el algoritmo se comporta mejor que otros modelos de clasificación, incluso con menos datos de entrenamiento.
• El desacoplamiento de las distribuciones de características condicionales de clase significan que cada distribución puede ser estimada independientemente como si tuviera una sola dimensión. Esto ayuda con problemas derivados de la dimensionalidad y mejora el rendimiento.

Los puntos débiles principales son:

• Aunque son unos clasificadores bastante buenos, los algoritmos Naive Bayes son conocidos por ser pobres estimadores. Por ello, no se deben tomar muy en serio las probabilidades que se obtienen.
• La presunción de independencia Naive muy probablemente no reflejará cómo son los datos en el mundo real.
• Cuando el conjunto de datos de prueba tiene una característica que no ha sido observada en el conjunto de entrenamiento, el modelo le asignará una probabilidad de cero y será inútil realizar predicciones. Uno de los principales métodos para evitar esto, es la técnica de suavizado, siendo la estimación de Laplace una de las más populares.

Proyecto de Implementación: Detector de Spam

Actualmente, una de las aplicaciones principales de Machine Learning es la detección de spam. Casi todos los servicios de email más importantes proporcionan un detector de spam que clasifica el spam automáticamente y lo envía al buzón de “correo no deseado”.

En este proyecto, desarrollaremos un modelo Naive Bayes que clasifica los mensajes SMS como spam o no spam (‘ham’ en el proyecto). Se basará en datos de entrenamiento que le proporcionaremos.

Haciendo una investigación previa, encontramos que, normalmente, en los mensajes de spam se cumple lo siguiente:

• Contienen palabras como: ‘gratis’, ‘gana’, ‘ganador’, ‘dinero’ y ‘premio’.
• Tienden a contener palabras escritas con todas las letras mayúsculas y tienden al uso de muchos signos de exclamación.

Esto es un problema de clasificación binaria supervisada, ya que los mensajes son o ‘Spam’ o ‘No spam’ y alimentaremos un conjunto de datos etiquetado para entrenar el modelo.

Visión general

Realizaremos los siguientes pasos:

• Entender el conjunto de datos
• Procesar los datos
• Introducción al “Bag of Words” (BoW) y la implementación en la libreria Sci-kit Learn
• División del conjunto de datos (Dataset) en los grupos de entrenamiento y pruebas
• Aplicar “Bag of Words” (BoW) para procesar nuestro conjunto de datos
• Implementación de Naive Bayes con Sci-kit Learn
• Evaluación del modelo
• Conclusión

Entender el Conjunto de Datos

Utilizaremos un conjunto de datos del repositorio UCI Machine Learning.

Un primer vistazo a los datos:

Las columnas no se han nombrado, pero como podemos imaginar al leerlas:

• La primera columna determina la clase del mensaje, o ‘spam’ o ‘ham’ (no spam).
• La segunda columna corresponde al contenido del mensaje

Primero importaremos el conjunto de datos y cambiaremos los nombre de las columnas. Haciendo una exploración previa, también vemos que el conjunto de datos está separado. El separador es ‘\t’.

# Importar la libreria Pandas 
import pandas as pd# Dataset de https://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection
df = pd.read_table('smsspamcollection/SMSSpamCollection', 
                   sep='\t', 
                   names=['label','sms_message'])# Visualización de las 5 primeras filas
df.head()

Preprocesamiento de Datos

Ahora, ya que el Sci-kit learn solo maneja valores numéricos como entradas, convertiremos las etiquetas en variables binarias, 0 representará ‘ham’ y 1 representará ‘spam’.

Para representar la conversión:

# Conversion
df['label'] = df.label.map({'ham':0, 'spam':1})# Visualizar las dimensiones de los datos
df.shape()

Introducción a la Implementación “Bag of Words” (BoW) y Sci-kit Learn

Nuestro conjunto de datos es una gran colección de datos en forma de texto (5572 filas). Como nuestro modelos solo aceptará datos numéricos como entrada, deberíamos procesar mensajes de texto. Aquí es donde “Bag of Words“ entra en juego.

“Bag of Words” es un término usado para especificar los problemas que tiene una colección de datos de texto que necesita ser procesada. La idea es tomar un fragmento de texto y contar la frecuencia de las palabras en el mismo.

BoW trata cada palabra independientemente y el orden es irrelevante.

Podemos convertir un conjunto de documentos en una matriz, siendo cada documento una fila y cada palabra (token) una columna, y los valores correspondientes (fila, columna) son la frecuencia de ocurrencia de cada palabra (token) en el documento.

Como ejemplo, si tenemos los siguientes cuatro documentos:

['Hello, how are you!', 'Win money, win from home.', 'Call me now', 'Hello, Call you tomorrow?']

Convertiremos el texto a una matriz de frecuencia de distribución como la siguiente:

Los documentos se numeran en filas, y cada palabra es un nombre de columna, siendo el valor correspondiente la frecuencia de la palabra en el documento.

Usaremos el método contador de vectorización de Sci-kit Learn, que funciona de la siguiente manera:

• Fragmenta y valora la cadena (separa la cadena en palabras individuales) y asigna un ID entero a cada fragmento (palabra).
• Cuenta la ocurrencia de cada uno de los fragmentos (palabras) valorados.
• Automáticamente convierte todas las palabras valoradas en minúsculas para no tratar de forma diferente palabras como “el” y “El”.
• También ignora los signos de puntuación para no tratar de forma distinta palabras seguidas de un signo de puntuación de aquellas que no lo poseen (por ejemplo “¡hola!” y “hola”).
• El tercer parámetro a tener en cuenta es el parámetro stop_words. Este parámetro se refiere a las palabra más comúnmente usadas en el lenguaje. Incluye palabras como “el”, “uno”, “y”, “soy”, etc. Estableciendo el valor de este parámetro por ejemplo en english, “CountVectorizer” automáticamente ignorará todas las palabras (de nuestro texto de entrada) que se encuentran en la lista de “stop words” de idioma inglés..

La implementación en Sci-kit Learn sería la siguiente:

# Definir los documentos
documents = ['Hello, how are you!',
                'Win money, win from home.',
                'Call me now.',
                'Hello, Call hello you tomorrow?']# Importar el contador de vectorizacion e inicializarlo
from sklearn.feature_extraction.text import CountVectorizer
count_vector = CountVectorizer()# Visualizar del objeto'count_vector' que es una instancia de 'CountVectorizer()'
print(count_vector)

Para ajustar el conjunto de datos del documento al objeto “CountVectorizer” creado, usaremos el método “fit()”, y conseguiremos la lista de palabras que han sido clasificadas como características usando el método “get_feature_names()”. Este método devuelve nuestros nombres de características para este conjunto de datos, que es el conjunto de palabras que componen nuestro vocabulario para “documentos”.

count_vector.fit(documents)
names = count_vector.get_feature_names()
names

A continuación, queremos crear una matriz cuyas filas serán una de cada cuatro documentos, y las columnas serán cada palabra. El valor correspondiente (fila, columna) será la frecuencia de ocurrencia de esa palabra (en la columna) en un documento particular (en la fila).

Podemos hacer esto usando el método “transform()” y pasando como argumento en el conjunto de datos del documento. El método “transform()” devuelve una matriz de enteros, que se puede convertir en tabla de datos usando “toarray()”.

doc_array = count_vector.transform(documents).toarray()
doc_array

Para hacerlo fácil de entender, nuestro paso siguiente es convertir esta tabla en una estructura de datos y nombrar las columnas adecuadamente.

frequency_matrix = pd.DataFrame(data=doc_array, columns=names)
frequency_matrix

Con esto, hemos implementado con éxito un problema de “BoW” o Bag of Words para un conjunto de datos de documentos que hemos creado.

Un problema potencial que puede surgir al usar este método es el hecho de que si nuestro conjunto de datos de texto es extremadamente grande, habrá ciertos valores que son más comunes que otros simplemente debido a la estructura del propio idioma. Así, por ejemplo, palabras como ‘es’, ‘el’, ‘a’, pronombres, construcciones gramaticales, etc. podrían sesgar nuestra matriz y afectar nuestro análisis.

Para mitigar esto, usaremos el parámetro stop_words de la clase CountVectorizer y estableceremos su valor en inglés.

Dividiendo el Conjunto de Datos en Conjuntos de Entrenamiento y Pruebas

Buscamos dividir nuestros datos para que tengan la siguiente forma:

• X_train son nuestros datos de entrenamiento para la columna ‘sms_message’
• y_train son nuestros datos de entrenamiento para la columna ‘label’
• X_test son nuestros datos de prueba para la columna ‘sms_message’
• y_test son nuestros datos de prueba para la columna ‘label’. Muestra el número de filas que tenemos en nuestros datos de entrenamiento y pruebas

# Dividir los datos en conjunto de entrenamiento y de test
from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(df['sms_message'], df['label'], random_state=1)print('Number of rows in the total set: {}'.format(df.shape[0]))print('Number of rows in the training set: {}'.format(X_train.shape[0]))print('Number of rows in the test set: {}'.format(X_test.shape[0]))

Aplicar BoW para Procesar Nuestros Datos de Pruebas

Ahora que hemos dividido los datos, el próximo objetivo es convertir nuestros datos al formato de la matriz buscada. Para realizar esto, utilizaremos CountVectorizer() como hicimos antes. tenemos que considerar dos casos:

• Primero, tenemos que ajustar nuestros datos de entrenamiento (X_train) en CountVectorizer() y devolver la matriz.
• Sgundo, tenemos que transformar nustros datos de pruebas (X_test) para devolver la matriz.

Hay que tener en cuenta que X_train son los datos de entrenamiento de nuestro modelo para la columna ‘sms_message’ en nuestro conjunto de datos.

X_test son nuestros datos de prueba para la columna ‘sms_message’, y son los datos que utilizaremos (después de transformarlos en una matriz) para realizar predicciones. Compararemos luego esas predicciones con y_test en un paso posterior.

El código para este segmento está dividido en 2 partes. Primero aprendemos un diccionario de vocabulario para los datos de entrenamiento y luego transformamos los datos en una matriz de documentos; segundo, para los datos de prueba, solo transformamos los datos en una matriz de documentos.

# Instantiate the CountVectorizer method
count_vector = CountVectorizer()# Fit the training data and then return the matrix
training_data = count_vector.fit_transform(X_train)# Transform testing data and return the matrix. Note we are not fitting the testing data into the CountVectorizer()
testing_data = count_vector.transform(X_test)

Implementación Naive Bayes con Sci-Kit Learn

Usaremos la implementación Naive Bayes “multinomial”. Este clasificador particular es adecuado para la clasificación de características discretas (como en nuestro caso, contador de palabras para la clasificación de texto), y toma como entrada el contador completo de palabras.

Por otro lado el Naive Bayes gausiano es más adecuado para datos continuos ya que asume que los datos de entrada tienen una distribución de curva de Gauss (normal).

Importaremos el clasificador “MultinomialNB” y ajustaremos los datos de entrenamiento en el clasificador usando fit().

from sklearn.naive_bayes import MultinomialNB
naive_bayes = MultinomialNB()
naive_bayes.fit(training_data, y_train)

Ahora que nuestro algoritmo ha sido entrenado usando el conjunto de datos de entrenamiento, podemos hacer algunas predicciones en los datos de prueba almacenados en ‘testing_data’ usando predict().

predictions = naive_bayes.predict(testing_data)

Una vez realizadas las predicciones el conjunto de pruebas, necesitamos comprobar la exactitud de las mismas.

Evaluación del modelo

Hay varios mecanismos para hacerlo, primero hagamos una breve recapitulación de los criterios y de la matriz de confusión.

• La matriz de confusión es donde se recogen el conjunto de posibilidades entre la clase correcta de un evento, y su predicción.

• Exactitud: mide cómo de a menudo el clasificador realiza la predicción correcta. Es el ratio de número de predicciones correctas contra el número total de predicciones (el número de puntos de datos de prueba).

• Precisión: nos dice la proporción de mensajes que clasificamos como spam. Es el ratio entre positivos “verdaderos” (palabras clasificadas como spam que son realmente spam) y todos los positivos (palabras clasificadas como spam, lo sean realmente o no)

• Recall (sensibilidad): Nos dice la proporción de mensajes que realmente eran spam y que fueron clasificados por nosotros como spam. Es el ratio de positivos “verdaderos” (palabras clasificadas como spam, que son realmente spam) y todas las palabras que fueron realmente spam.

Para los problemas de clasificación que están sesgados en sus distribuciones de clasificación como en nuestro caso. Por ejemplo si tuviéramos 100 mensajes de texto y solo 2 fueron spam y los restantes 98 no lo fueron, la exactitud por si misma no es una buena métrica. Podríamos clasificar 90 mensajes como no spam (incluyendo los 2 que eran spam y los clasificamos como “no spam”, y por tanto falsos negativos) y 10 como spam (los 10 falsos positivos) y todavía conseguir una puntuación de exactitud razonablemente buena.

Para casos como este, la precisión y el recuerdo son bastante adecuados. Estas dos métricas pueden ser combinadas para conseguir la puntuación F1, que es el “peso” medio de las puntuaciones de precisión y recuerdo. Esta puntuación puede ir en el rango de 0 a 1, siendo 1 la mejor puntuación posible F1.

Usaremos las cuatro métricas para estar seguros de que nuestro modelo se comporta correctamente. Para todas estas métricas cuyo rango es de 0 a 1, tener una puntuación lo más cercana posible a 1 es un buen indicador de cómo de bien se está comportando el modelo.

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_scoreprint('Accuracy score: ', format(accuracy_score(y_test, predictions)))print('Precision score: ', format(precision_score(y_test, predictions)))print('Recall score: ', format(recall_score(y_test, predictions)))print('F1 score: ', format(f1_score(y_test, predictions)))

Conclusión

• Una de las mayores ventajas que Naive Bayes tiene sobre otros algoritmos de clasificación es la capacidad de manejo de un número extremadamente grande de características. En nuestro caso, cada palabra es tratada como una característica y hay miles de palabras diferentes.
• También, se comporta bien incluso ante la presencia de características irrelevantes y no es relativamente afectado por ellos.
• La otra ventaja principal es su relativa simplicidad. Naive Bayes funciona bien desde el principio y ajustar sus parámetros es raramente necesario.
• Raramente sobreajusta los datos.
• Otra ventaja importante es que su modelo de entrenamiento y procesos de predicción son muy rápidos teniendo en cuenta la cantidad de datos que puede manejar.

Fuente: medium.com, 2019

---

Vincúlese a nuestras Redes Sociales:

LinkedIn      YouTube      Facebook      Twitter

---

.

.

Para saber más sobre Big Data

Big Data. Conceptos, tecnologías y aplicaciones

El libro que tengo en las manos es una excelente aportación para el conocimiento del público en general del gran paradigma que conmueve los cimientos de nuestro mundo, el Big Data. Se trata de Big Data. Conceptos, tecnologías y aplicaciones, en la colección Qué sabemos de, escrito por dos expertos, David Ríos Insúa y David Gómez Ullate.

Comentaremos brevemente el contenido de este libro, aunque en entradas sucesivas seguiremos hablando de algunos de los temas que, al menos a mí, me han resultado tan interesantes como para querer saber más sobre ellos.

Una de las cuestiones más preocupantes del big data es que una gran parte de ese tsunami de datos lo estamos proporcionando nosotros mismos de manera gratuita y casi sin darnos cuenta, como si no nos importara. Y con esos datos, hay compañías que hacen negocios.  Google recibe 4 millones de peticiones por minuto, en Facebook compartimos 2 millones y medio de piezas por minuto, cada día enviamos 400 millones de tuits.

La importancia de los datos y su análisis tiene un origen comercial, como conocer mejor a los clientes, sus gustos, como llegar mejor a ellos. Y si antiguamente (por ejemplo, Gallup) había que hacer encuestas, los avances tecnológicos (internet, móviles, GPS, …) han facilitado la tarea. Se dice que hay unos 15.000 millones de sensores distribuidos en el mundo, y no paran,

Pero estos datos se dan en bruto, tenemos que pulirlos y almacernarlos para poder usarlos. Y después tenemos que aplicar diferentes tecnologías para extraer información útil de los mismos. Y ahí es donde entran las matemáticas. Los autores muestran como una de las bases claves es la Estadística. El otro pilar es la Infomática. A lo largo del libro describen ampliamente como estas dos disciplinas interactúan en el Big Data. Y ello les lleva a hablar del aprendizaje automático (machine learning), redes neuronales, inteligencia artificial, ciberseguridad, y muchos otros temas.

Es muy relevante como las administraciones públicas están tan lejos de las grandes corporaciones empresariales y no están utilizando estas nuevas herramientas en beneficio de la sociedad; hay un enorme potencial en su uso, por ejemplo, en la medicina, tal y como detallan en uno de sus capítulos.

Aunque a veces la lectura nos produce el temor al Gran Hermano, los aspectos positivos son muchos, como ocurre casi siempre con la ciencia. El Big Data no es la panacea a todos los problemas de este mundo pero si que nos ofrece un gran cantidad de oportunidades. Enhorabuena a los autores por este magnífico libro que en apenas 134 páginas no nos da respiro.

Sobre los autores

David Ríos Insúa. Es AXA-ICMAT Chair en Análisis de Riesgos Adversarios en el ICMAT-CSIC y numerario de la Real Academia de Ciencias Exactas, Físicas y Naturales. Es catedrático de Estadística e Investigación Operativa (en excedencia). Previamente ha sido profesor o investigador en Manchester, Leeds, Duke, Purdue, Paris-Dauphine, Aalto, CNR-IMATI, IIASA, SAMSI y UPM. Entre otros, ha recibido el Premio DeGroot de la ISBA por su libro Adversarial Risk Analysis. Es asesor científico de Aisoy Robotics. Ha escrito más de 130 artículos con revisión y 15 monografías sobre sus temas de interés que incluyen la inferencia bayesiana, la ciencia de datos, el análisis de decisiones y el análisis de riesgos, y sus aplicaciones, principalmente, a seguridad y ciberseguridad.

David Gómez-Ullate Oteiza. Es investigador en la Universidad de Cádiz y profesor titular de Matemática Aplicada en la Universidad Complutense de Madrid. Su labor reciente se centra en la transferencia de conocimiento al sector industrial en ciencia de datos e inteligencia artificial. Dirige proyectos en el sector aeronáutico, seguros y biomédico aplicando técnicas de visión artificial y procesamiento de lenguaje natural.

___

Manuel de León (CSIC, Fundador del ICMAT, Real Academia de Ciencias, Real Academia Canaria de Ciencias, Real Academia Galega de Ciencias).

Fuente: madrimasd.org, 2020.

---

---

Vincúlese a nuestras Redes Sociales:

LinkedIn      YouTube      Facebook      Twitter

---

.

.

Ya los robots crean anuncios publicitarios

Siete profesiones que caerán en el olvido

Las primeras 7 profesiones que caerán en el olvido por culpa de la inteligencia artificial

La industria turística se suma a la inteligencia artificial

El futuro es hoy: el mundo turístico se asoma a la inteligencia artificial

Una habitación de hotel personalizada de forma automática según los gustos del cliente, apps que permiten elegir de antemano la temperatura y la luz de los cuartos, así como a Picasso o Van Gogh en las pantallas digitales de las paredes, un espejo de reconocimiento facial en lugar de un recepcionista, anteojos de realidad virtual en reemplazo de folletos, valijas-robot… las nuevas tecnologías están tomando el sector turístico, que espera aprovechar la mina de oro de los datos personales.

“Incluso la cerradura es inteligente. Se abre y se cierre con la aplicación Whatsapp del teléfono del cliente”, explicaba Carlos Méndez, responsable de innovación en la consultora tecnológica francesa Altran, que presentó su prototipo esta semana en el salón internacional de turismo “Fitur”, que se celebra en Madrid.

.

Si bien algunos hoteles proponen versiones más básicas, dicha habitación, destinada a los hoteles de lujo, integra los últimos avances en materia de reconocimiento de voz. De esta forma, el cliente puede pedir una pizza en 40 idiomas. El colchón, equipado de captores, registra todos los movimientos del huésped, lo que permite al dueño del establecimiento ofrecerle café si ve que no ha dormido bien.

Más allá del aspecto tecnológico, la inteligencia artificial promete un conocimiento extremadamente íntimo del cliente. “La tecnología nos va a permitir conocer las necesidades del cliente antes de que el cliente sepa que tiene esas necesidades“, augura Álvaro Carrillo de Albornoz, director del Instituto Tecnológico Hotelero. Un conocimiento forjado gracias a los datos personales facilitados en el momento de reservar en internet, pero también una vez el cliente en el hotel. Y todo ello por obra y gracia de la tecnología “beacon” -más o menos autorizada según los países-, un dispositivo que permite detectar el emplazamiento de los teléfonos inteligentes en el hotel o en la ciudad.

Un mundo de algoritmos

.

Alimentados por estos datos, los algoritmos de la inteligencia artificial perfilan las costumbres y preferencias del cliente, para fidelizarlo ofreciéndole un recibimiento a medida, o bien venderle productos adicionales. Si el algoritmo “sabe que cuando vienes con tu mujer al hotel no sueles cenar en el restaurante porque pides room-service (servicio a la habitación), te dicen que en ese momento hay menú especial en la habitación con botella de champán. En cambio, si vienes con niños, te intentarán dar una oferta con menú para niños en el restaurante del hotel“, explica Carrillo de Albornoz.

Aparte, estas herramientas tecnológicas pueden ayudar a mejorar el rendimiento del hotel. “Se puede automatizar perfectamente todas las compras. Por ejemplo, cuando (el hotel) tiene una llegada masiva de ingleses, va a tener que comprar más bacon (tocino)”, explica Rodrigo Martínez, director de la asesoría Hotel Servicers.

.

Los fabricantes del artilugio más de moda, las gafas de realidad virtual (RV), también buscan entrar en el sector turístico. De momento “estamos en una fase totalmente pionera. Mostramos la realidad virtual, la gente dice ‘oh qué maravilla’, pero a la hora de contratar, no compra. No está en las prioridades de su presupuesto de marketing”, expone Marcial Correal, presidente de la Sociedad española de agencias de viaje con realidad virtual, que promociona esta herramienta.

La cadena hotelera Palladium, con sede en las islas Baleares, se lanzó en la aventura. Sus agentes comerciales ya no van con folletos para presentar sus establecimientos a las agencias de viaje, sino que trabajan con lentes de realidad virtual. Para cada hotel hay videos disponibles, en los que se pueden “visitar” las habitaciones, las piscinas y los restaurantes. “Es mucho mas difÍcil engañar con anteojos de realidad virtual”, dice César Urbina, de la agencia de realidad virtual “Iralta”. Los anteojos están disponibles a precios accesibles, entre 50 y 600 euros, aunque los videos producidos a medida pueden costar de 2.000 a 150.000 euros.

Página siguiente »