Sistema inteligente multimodal basado en crowdsensing para un servicio de predicción de problemas sociales (ALLEGRO)

Proyecto I+D

Sistema inteligente multimodal basado en crowdsensing para un servicio de predicción de problemas sociales (ALLEGRO)

Proyecto PID2020-112827GB-I00

Inicio / Fin: desde el 01 Septiembre 2021 al 31 Agosto 2024

Financiado por MICIU/AEI/10.13039/501100011033

Carlos Periñán Pascual
jopepas3@upv.es
+34 962849433

EQUIPO DE INVESTIGACIÓN

Carlos Periñán Pascual (Investigador Principal, Universitat Politècnica de València)
Andrés Bueno Crespo (Universidad Católica de Murcia)
Andrés Muñoz Ortega (Universidad de Cádiz)
Ángela Alameda Hernández (Universidad de Granada)
Ángel Felices Lago (Universidad de Granada)
Antonia Sánchez Pérez (Universidad Católica de Murcia)
Antonio Llanes Castro (Universidad Católica de Murcia)
Baldomero Imbernón Tudela (Universidad Católica de Murcia)
Belén López Ayuso (Universidad Católica de Murcia)
Fernando Terroso Sáenz (Universidad Católica de Murcia)
Francisco Arcas Túnez (Universidad Católica de Murcia)
Jesús Soto Espinosa (Universidad Católica de Murcia)
José Luis Abellán Miguel (Universidad de Murcia)
Juan Miguel Navarro Ruiz (Universidad Católica de Murcia)
Magdalena Cantabella Sabater (Universidad Católica de Murcia)
Manuel Curado Navarro (Universidad Católica de Murcia)
Nicolás Fernández Martínez (Universidad de Jaén)
Pedro Ureña Gómez-Moreno (Universidad de Granada)
Raquel Martínez España (Universidad de Murcia)
Rocío Jiménez Briones (Universidad Autónoma de Madrid).

EQUIPO DE TRABAJO

Antonio Pita Lozano (Universidad Católica de Murcia)
Jason J. Jung (Chung-Ang University)
Joaquín Lasheras Velasco (CENTIC)
José Cano Reyes (University of Glasgow)
José Montoya Belmonte (Universidad Católica de Murcia)
Juan Carlos Augusto Wrede (University of Middlesex)
Massimo Mecella (Sapienza Universitá Di Roma)
Matjaz Gams (Jozef Stefan Institute)
Mounir Ghogho (Université Internationale de Rabat)
Navjot Sidhu (Universidad Católica de Murcia)
Paulo Novais (Universidade Do Minho)
Ramón Martínez Carreras (Universidad Católica de Murcia)
Sofia Ouhbi (United Arab Emirates University)
Yanquin Duan (University Of Bedfordshire)

Las redes sociales se han convertido en un fenómeno global de la comunicación, donde los usuarios publican contenido en forma de texto, imágenes, vídeo, audio o una combinación de ellos para expresar sus opiniones, relatar hechos que están ocurriendo en ese momento o mostrar situaciones de interés. Una línea de investigación actual relacionada con estas herramientas consiste en el crowdsensing, i.e. el análisis y la interpretación de la ingente cantidad de información que se publica a diario en dichas herramientas. Son varios los retos que se plantean a la hora de desarrollar aplicaciones que puedan hacer uso de la información proporcionada por los usuarios de las redes sociales, los cuales se conciben como sensores sociales. Por un lado, cada vez es más frecuente encontrar diferentes tipos de información (p.ej. texto, audio, imágenes, etc.) incluidos en una misma publicación y, por tanto, es necesario extraer las características más relevantes de cada elemento con el fin de combinarlas y aumentar así la información sobre el contexto relativo al evento descrito en la publicación. Por otro lado, debido a la enorme cantidad de información a procesar, las técnicas tradicionales de fusión de información semántica deben adaptarse y combinarse con técnicas de aprendizaje automático y computación de altas prestaciones para poder ofrecer respuestas en tiempo real a partir del análisis de decenas de miles de publicaciones.

Para dar respuesta a estos retos, este proyecto propone el desarrollo de ALLEGRO (Adaptive muLti-domain sociaL-media sEnsinG fRamewOrk), un sistema inteligente multimodal (i.e. texto, audio e imagen) para el análisis y la fusión de la información publicada en redes sociales. Este sistema está compuesto por diferentes módulos interconectados de análisis, donde se aplicarán técnicas eficientes de aprendizaje automático para la extracción de las características más relevantes y el aumento de la información contextual de las publicaciones. Dichas características convergerán en un módulo de fusión de información, donde se aplicarán técnicas novedosas de integración semántica y aprendizaje profundo para obtener un modelo de conocimiento que describa los eventos o las situaciones que están teniendo lugar en tiempo real en el entorno del ciudadano. Con el fin de evaluar la arquitectura de ALLEGRO, implementaremos un prototipo dentro del marco del desarrollo de ciudades inteligentes. En este sentido, adoptamos un enfoque integral al concepto de ciudad inteligente, donde nos centramos no sólo en detectar problemas relacionados con la calidad de las infraestructuras y servicios proporcionados a los ciudadanos (p.ej. sanidad, alumbrado y transporte, entre otros) sino también en analizar la dimensión sociológica de la ciudad, la cual se refleja en las preocupaciones de sus habitantes (p.ej. conflictos raciales, desempleo y violencia, entre otros). De esta forma, desarrollaremos un sistema de “Social-Sensing as-a-service” cuyo objetivo sea abordar todos aquellos aspectos que no contribuyan a mejorar el bienestar y la calidad de vida de los ciudadanos.

Social-media tools have become a global phenomenon of communication, where users post content in the form of text, images, video, audio or a combination of them to convey their opinions, report facts that are happening at that time or show situations of interest. A current line of research related to these tools consists in crowdsensing, i.e. the analysis and interpretation of the huge amount of information that is daily posted in these tools. There are a number of challenges that should be faced when developing applications that make use of the information provided by social-network users, who are regarded as social sensors. On the one hand, it is increasingly common to find different types of information (e.g. text, audio, images, etc.) in the same post and, therefore, it is necessary to extract the most relevant features of each element in order to combine them and thus increase the information about the context of the event described by the post. On the other hand, due to the enormous amount of information to be processed, the traditional techniques of semantic-information fusion should be adapted and combined with machine-learning techniques and high-performance computing in order to be able to provide responses in real time from the analysis of tens of thousands of messages.

To meet these challenges, this project proposes the development of ALLEGRO (Adaptive muLti-domain sociaL-media sEnsinG fRamewOrk), a smart multi-modal system (i.e. text, audio, and image) for the analysis and fusion of information posted on social networks. This system is comprised of different interconnected analysis modules, where efficient machine-learning techniques will be applied to both the extraction of the most significant features and the increase of contextual information from posts. These features will converge in an information-fusion module, where novel semantic-integration and deep-learning techniques will be applied to obtain a knowledge model that serves to describe the events or situations that are taking place in real time in the citizen's environment. With the purpose of evaluating the ALLEGRO architecture, we aim to implement a social-sensing prototype for the smart-city framework. In this regard, we take an integral approach to the concept of "smart city", where we focus not only on detecting problems related to the quality of the infrastructure and services provided to citizens (e.g. healthcare, lighting, and transportation, among others) but also on analysing the sociological dimension of the city, which is reflected through people's concerns (e.g. racial conflicts, unemployment, and violence, just to name a few). Therefore, we aim to develop a “Social-Sensing as-a-service” system that could deal with issues that do not contribute to improving well-being and quality of life.

Producción Científica

2023

Rodríguez, R., Curado, M., Tortosa, L., & Vicent, J. F. (2023) Understanding the metallic glasses formation by applying a centrality measure based on betweenness. Computational Materials Science, 218, 111986. https://doi.org/10.1016/j.commatsci.2022.111986

Sáenz, F. T., Arcas-Tunez, F., & Muñoz, A. (2023) Nation-wide touristic flow prediction with graph neural networks and heterogeneous open data. Information Fusion 91, 582-597.

Terroso-Saenz, F., Soto, J., & Muñoz, A. (2023) Evolution of global music trends: An exploratory and predictive approach based on Spotify data. Entertainment Computing 44, 100536.

Peña-Abreu, J., & Terroso-Saenz, F. (2023) Beach and weather: A mobile crowdsensing platform to report beach conditions. Software Impacts 15, 100472.

Pérez-Sala, L., Curado, M., Tortosa, L., & Vicent, J. F. (2023) Deep learning model of convolutional neural networks powered by a genetic algorithm for prevention of traffic accidents severity. Chaos, Solitons & Fractals 169, 113245. https://doi.org/10.1016/j.chaos.2023.113245

Cecilia, J. M., Morales-García, J., Imbernón, B., Prades, J., Cano, J. C., & Silla, F. (2023) Using remote GPU virtualization techniques to enhance edge computing devices. Future Generation Computer Systems 142, 14-24. DOI: https://doi.org/10.1016/j.future.2022.12.038

Curado, M., Tortosa, L., & Vicent, J. F. (2023) A novel measure to identify influential nodes: Return Random Walk Gravity Centrality. Information Sciences. https://doi.org/10.1016/j.ins.2023.01.097

Balderas-Díaz, S., Muñoz, A., Guerrero-Contreras, G. (2023) Optimization of traffic light controllers using genetic algorithms: A case study in the city of Cádiz. Novais, P., et al. (eds.) Ambient Intelligence – Software and Applications – 14th International Symposium on Ambient Intelligence. ISAmI 2023. Lecture Notes in Networks and Systems, vol 770. Cham: Springer. https://doi.org/10.1007/978-3-031-43461-7_11

Muñoz, A., Martínez-España, R., Guerrero-Contreras, G., Balderas-Díaz, S. and Bueno-Crespo, A. (2023) A real-time traffic alert system based on image recognition: A case of study in Spain. Proceedings of the 19th International Conference on Intelligent Environments (IE), Mauritius, pp. 1-7. https://doi.org/10.1109/IE57519.2023.10179106

Navarro, J. M. & Pita, A. (2023). Machine learning prediction of the long-term environmental acoustic pattern of a city location using short-term sound pressure level measurements. Applied Sciences 13(3), 1613. https://doi.org/10.3390/app13031613

Padilla-Quimbiulco, D., Morales-García, J., Cantabella, M., Ayuso, B., Muñoz, A. and Cecilia, J. M. (2023) Greenhouse intelligent warning system for precision agriculture. Proceedings of the 19th International Conference on Intelligent Environments (IE), Mauritius, pp. 1-6. https://doi.org/10.1109/IE57519.2023.10179105

Periñán-Pascual, C. (2023) Exploring user-generated content to detect community problems: The ontological model of ALLEGRO, 15th International Conference on Knowledge Engineering and Ontology Development (KEOD 2023), Rome, 13-15 November 2023. David Aveiro, Jan Dietz, Antonella Poggi and Jorge Bernardino (eds.) Proceedings of the 15th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K 2023), vol. 2: KEOD, SCITEPRESS, Setúbal, pp. 224-230. https://www.scitepress.org/Papers/2023/122033/122033.pdf

Periñán-Pascual, C. (2023) Un uso sostenible de WordNet en la inteligencia artificial. Quaderns de Filologia: Estudis Lingüístics 28: pp. 141-155. https://ojs.uv.es/index.php/qfilologia/article/download/26595/23572

Periñán-Pascual, C. (2024) Minería de textos para investigadores lingüistas. Valencia: Tirant lo Blanch.

Segura-Garcia, J., Pérez-Solano, J. J., Felici-Castell, S., Montoya-Belmonte, J., Lopez-Ballester, J., & Navarro, J. M. (2023). Sustainable soundscape monitoring of modified psycho-acoustic annoyance model with edge computing for 5G IoT systems. Sustainability 15(13), 10016. https://doi.org/10.3390/su151310016

Sidhu, N., Terroso-Sáenz, F., Ortiz, G., Muñoz, A. (2023). A sustainable framework to manage plastic waste in urban environments using open data. Da Silva Portela, C.F. (eds.) Sustainable, Innovative and Intelligent Societies and Cities. EAI/Springer Innovations in Communication and Computing. Cham: Springer. https://doi.org/10.1007/978-3-031-30514-6_12

Terroso-Saenz, F., Morales-García, J., & Muñoz, A. (2023). Nationwide air pollution forecasting with heterogeneous graph neural networks. ACM Transactions on Intelligent Systems and Technology https://doi.org/10.1145/3637492

Terroso-Saenz, F., & Muñoz, A. (2023). Human mobility prediction with region-based flows and road traffic data. JUCS: Journal of Universal Computer Science, 29(4). https://lib.jucs.org/article/94514/

Terroso-Sáenz, F., Muñoz, A., & Roose, P. (2023). War & music: The impact of the Ukrainian war on the music listening behaviour in Eastern Europe. Proceedings of the 25th IEEE International Symposium on Multimedia, IEEE. https://univ-pau.hal.science/hal-04311398/file/War_and_music_ISM2023_Camera_Ready.pdf

Terroso-Saenz, F., Soto, J., & Muñoz, A. (2023). Music mobility patterns: How songs propagate around the world through Spotify. Pattern Recognition 143, 109807. https://www.sciencedirect.com/science/article/pii/S0031320323005058

Terroso-Saenz, F., Soto, J., Muñoz, A. (2023). SINATRA: A music genre classifier based on clustering and graph analysis. Daimi, K., Alsadoon, A., Coelho, L. (eds.) Cutting Edge Applications of Computational Intelligence Tools and Techniques. Studies in Computational Intelligence, vol 1118. Cham: Springer. https://link.springer.com/chapter/10.1007/978-3-031-44127-1_9

2022

Terroso-Sáenz, F., Martínez-Guillén, D., & Llanes, A. (2022) An Open Souce System for People Counting based on 802.11 Packets Tracking. 2022 IEEE Symposium on Wireless Technology & Applications, 17-18 agosto 2022, Kuala Lumpur (Malaysia), IEEE, 41-46.

Terroso-Sáenz, F., & Muñoz, A. (2022) Nation-wide human mobility prediction based on graph neural networks. Applied Intelligence, 1-17.

Gonzalez-Vidal, A., Terroso-Saenz, F., & Skarmeta, A. (2022) Parking availability prediction with coarse-grained human mobility data. CMC-Computers, Materials & Continua 71(3), 4355-4375.

Aragón-Jurado, J. M., Acuña-Vega, L. E., Ortiz, G., Boubeta-Puig, J., Muñoz, A. (2022) Detección inteligente de sucesos en Smart Cities con feedback de los ciudadanos. XVII Jornadas de Ingeniería de Ciencia e Ingeniería de Servicios (JCIS 2022). http://hdl.handle.net/11705/JCIS/2022/029

Bao, Y., Sun, Y., Feric, Z., Shen, M., Weston, M., Abellán, J. L., Baruah, T., Kim, J., Joshi, A., Kaeli, D. (2022) NaviSim: A highly accurate GPU simulator for AMD RDNA GPUs. Proceedings of the 31st International Conference on Parallel Architectures and Compilation Techniques (PACT 2022).

Curado, M., Rodriguez, R., Terroso-Saenz, F., Tortosa, L., Vicent, J. F. (2022) A centrality model for directed graphs based on the Two-Way-Random Path and associated indices for characterizing the nodes. Journal of Computational Science, 63, 101819. https://doi.org/10.1016/j.jocs.2022.101819

Garg, R., Qin, E., Muñoz-Martínez, F., Guirado, R., Jain, A., Abadal, S., Abellán, J. L., Acacio, M. E., Alarcón, E., Rajamanickam, S., Krishna, T. (2022) Understanding the design-space of sparse/dense multiphase GNN dataflows on spatial accelerators. Proceedings of the 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), 571-582. https://doi.org/10.1109/IPDPS53621.2022.00062

López, B., Arcas-Túnez, F., Cantabella, M., Terroso-Sáenz, F., Curado, M., Muñoz, A. (2022) EMO-Learning: Towards an intelligent tutoring system to assess online students' emotions. Proceedings of the 18th International Conference on Intelligent Environments, 1-4. https://doi.org/10.1109/IE54923.2022.9826770

Muñoz-Martínez, F., Abellán, J. L., Acacio, M. E., Krishna, T. (2022) STIFT: A spatio-temporal integrated folding tree for efficient reductions in flexible DNN accelerators. Journal of Emerging Technologies and Computing Systems. https://doi.org/10.1145/3531011

Navarro Ruiz, J.M., Terroso-Sáenz, F., Fernández, J.M. (2022) Ampliación de aplicación móvil de sonometría para la clasificación de fuentes sonoras. 53º Congreso Español de Acústica -Tecniacústica 2022.

Periñán-Pascual, C. (2022) Measuring associational thinking through word embeddings. Artificial Intelligence Review 55, 2065-2102. https://doi.org/10.1007/s10462-021-10056-6

Pita, A., Rodriguez, F.J., Navarro, J.M. (2022) Analysis and evaluation of clustering techniques applied to wireless acoustics sensor network data. Applied Sciences 12(17): 8550. https://doi.org/10.3390/app12178550

Pita, A., Rodriguez, F. J. and Navarro, J. M. (2022) On the application of unsupervised clustering to sound pressure data from an acoustic sensors network. H.H. Alvarez Valera and M. Luštrek (eds.) Workshops at 18th International Conference on Intelligent Environments (IE2022), pp. 170-179. https://ebooks.iospress.nl/pdf/doi/10.3233/AISE220037

Shivdikar, K., Jonatan, G., Mora, E., Livesay, N., Agrawal, R., Joshi, A., Abellan, J. L., Kim, J., Kaeli, D. (2022) Accelerating polynomial multiplication for homomorphic encryption on GPUs. Proceedings of the 2022 IEEE International Symposium on Secure and Private Execution Environment Design (SEED 2022).

Terroso-Saenz, F., Flores, R., Muñoz, A. (2022) Human mobility forecasting with region-based flows and geotagged Twitter data. Expert Systems with Applications, 117477. https://doi.org/10.1016/j.eswa.2022.117477

Terroso-Saenz, F., Muñoz, A., Arcas, F., Curado, M. (2022) An analysis of Twitter as a relevant human mobility proxy. Geoinformatica 26, 677–706. https://doi.org/10.1007/s10707-021-00460-z

Terroso-Saenz, F., Muñoz, A., Arcas, F., Curado, M. (2022) Can Twitter be a reliable proxy to characterize nation-wide human mobility? A case study of Spain. Social Science Computer Review, 08944393211071071. https://doi.org/10.1177/08944393211071071

2021

Fernández Martínez, N. J. y Felices Lago, Á. (2021) Automatic lexical collocate extraction for corpus-based ontology building and refinement. Revista Española de Lingüística Aplicada 34:2, 435–463. https://doi.org/10.1075/resla.19030.fer

Cebrian, J. M., Imbernón, B., Soto, J., & Cecilia, J. M. (2021). Evaluation of Clustering Algorithms on HPC Platforms. Mathematics, 9(17), 2156. doi:10.3390/math9172156

Sepúlveda, A., Periñán-Pascual, C., Muñoz, A., Martínez-España, R., Hernández-Orallo, E., Cecilia, J. M. (2021) COVIDSensing: Social sensing strategy for the management of the COVID-19 crisis. Electronics, 10(24), 3157. https://doi.org/10.3390/electronics10243157

En Prensa

Alameda Hernández, A. (en prensa) Social media detection of texts on the social problem of violence against women within the multimodal intelligent system ALLEGRO. En Jiménez-Briones, R. y Corral Esteban, A. (Eds.). Approaches to Knowledge Representation and Language [Colección Interlingua]. Granada: Editorial Comares.

Felices-Lago, Á. (en prensa) Social problems related to the ECONOMY dimension in the DIAPASON module: The case of the Income domain. En R. Jiménez-Briones y A. Corral Esteban (Eds.) Approaches to Knowledge Representation and Language [Colección Interlingua]. Granada: Comares.

Fernández-Martínez, N.J. (en prensa) Exploring the creation of synthetic corpora of negative communicative functions for the task of communicative function identification. En R. Jiménez-Briones & A. Corral Esteban (Eds.) Approaches to Knowledge Representation and Language [Colección Interlingua]. Granada: Editorial Comares.

Fernández-Martínez, N.J. (en prensa) Taxonomía de funciones comunicativas negativas para su identificación automática en el contexto de las ciudades inteligentes. En F. Olmo-Cazevieille (Ed.) Investigación lingüística en entornos digitales. Valencia: Tirant Lo Blanch.

Jiménez-Briones, R. y A. Felices Lago (en prensa). La formalización del conocimiento en DIAPASON a través de una muestra de problemas poblacionales y macroeconómicos. En F. Olmo-Cazevieille (Ed.) Investigación lingüística en entornos digitales. Valencia: Tirant Lo Blanch.

Jiménez-Briones, R. y A. Corral Esteban (Eds.) (en prensa). Approaches to Knowledge Representation and Language [Colección Interlingua]. Granada: Editorial Comares.

Periñán-Pascual, C. (en prensa) Exploring problems through social media: the case of Beach Quality. En Jiménez-Briones, Rocío y Corral Esteban, Avelino (eds.) (en prensa). Approaches to Knowledge Representation and Language. Colección Interlingua. Granada: Comares.

Periñán-Pascual, C. (2023) From Smart City to Smart Society: A quality-of-life ontological model for problem detection from user-generated content. Applied Ontology 18 (3), pp. 263-306. https://jopepas3.webs.upv.es/cv/resources/papers/072.pdf

Periñán-Pascual, C. (en prensa) Modelización de las quejas de los ciudadanos como artefactos digitales culturales: DIAPASON. En Françoise Olmo-Cazevieille (ed.) Investigación lingüística en entornos digitales. Valencia: Tirant Lo Blanch.

Periñán-Pascual, C. (en prensa) Modelling governance-related problems through social media. En Henry Tyne, Mireille Bilger, Laurie Buscail, Maï Leray, Niall Curry & Carmen Pérez-Sabater (eds.) Discovering language: Learning and affordance. Peter Lang.

Ureña Gómez-Moreno, P. (in press) Integrating corpus methodology into the construction of an intelligent crowdsensing system. En Jiménez-Briones, R. & Corral Esteban, A. (Eds.) Approaches to Knowledge Representation and Language [Colección Interlingua]. Granada: Editorial Comares.

Ureña Góméz-Moreno, P y Alameda Hernández, A. (en prensa) La detección de problemas sociales: una propuesta desde el procesamiento lingüístico de las redes sociales. En Olmo-Cazevieille, F. Investigación lingüística en entornos digitales. Valencia: Tirant Lo Blanch.