Comment les réponses sont générées
Notre agent conversationnel d’IA s’appuie sur Progress Agentic RAG (génération augmentée par la recherche) ainsi que sur un ensemble fermé de ressources (parfois appelé « walled garden », système fermé ou base de connaissances) pour répondre aux questions. Notre base de ressources comprend actuellement :
- le contenu du site Web de RISE;
- tous les documents d’information et outils préparés par RISE;
- d’autres documents, notamment des taxonomies et des outils, vers lesquels renvoie le site Web de RISE.
Au fil du temps, nous ajouterons des ressources provenant d’autres sources vérifiées, notamment :
- toutes les synthèses de données probantes (ainsi que les évaluations économiques) répertoriées dans Health Systems Evidence (HSE), ainsi que celles figurant dans les sections « services à l’enfance et à la jeunesse » et « services communautaires et sociaux » de Social Systems Evidence (SSE);
- les documents de politiques publiques de l’Ontario et les documents canadiens pertinents pour l’Ontario répertoriés dans le Portail du gouvernement ouvert du Canada et dans Overton, afin de faciliter la contextualisation du contenu en fonction de l’environnement des politiques publiques ontariennes.
Nous espérons également pouvoir ajouter des données issues d’études empiriques sur les services de santé et les services sociaux, préparées de manière à faciliter leur synthèse et leur utilisation par l’IA, qui sont disponibles dans le système de données ouvertes de l’ESIC.
Nous avons configuré puis ajusté de façon itérative la recherche fondée sur la génération augmentée par la recherche (RAG) afin d’optimiser les réponses en fonction du type de question posée, par exemple les questions portant sur la recherche et les données probantes, sur les organisations et les programmes ou encore sur le contexte des politiques publiques. Ces ajustements reposent notamment sur :
- des règles de repérage du contenu, notamment des règles de filtrage (par exemple, privilégier les synthèses de données probantes pour les questions portant sur les données probantes et les documents de politiques publiques pour les questions portant sur le contexte des politiques publiques) et de pondération, notamment en accordant davantage de poids aux synthèses plus récentes et de meilleure qualité;
- des instructions système et des requêtes destinées aux grands modèles de langage (GML), notamment des consignes concernant l’utilisation d’un langage clair, d’un ton professionnel et le respect fidèle du contenu de la base fermée de ressources.
Nous continuerons d’affiner la recherche RAG au fil du temps, notamment en :
- ajustant les règles et les instructions à partir des tests continus réalisés par notre équipe et des commentaires des utilisateurs;
- explorant une approche dans laquelle un GML agit comme évaluateur des réponses. Cette approche consiste notamment à repérer les parties les plus importantes des réponses (dans notre cas, généralement les affirmations concernant ce que les données probantes permettent de conclure, par exemple « ce qui fonctionne, pour qui et dans quelles conditions »), à les évaluer, à les soumettre à un processus de révision humaine et à comparer explicitement les évaluations produites par l’IA et par des humains;
- mettant à l’essai différents grands modèles de langage de tiers accessibles dans Progress Agentic RAG, notamment ceux d’Anthropic, de Microsoft Azure, de Google Gemini et Vertex AI ainsi que d’OpenAI, tout en cherchant un équilibre entre différents facteurs comme l’exactitude et les coûts.