L'intelligence artificielle évalue les sites Web en imitant des personnes réelles et les surpasse même. Comment est-il fait?

Aujourd'hui, l'un des composants d'uKit AI, un système de refonte de site Web intelligent, est rendu public. C’est un module prototype permettant d’évaluer la beauté des pages Web. Il combine un réseau de neurones et des arbres de décision pour imiter la réaction d’un visiteur ordinaire à la conception du site Web.

À l'avenir, un tel module évaluera le travail de l'algorithme de conception générative, l'élément clé d'uKit AI, qui concevra des pages sans implication humaine en se basant sur le contenu disponible et la "connaissance" de la différence entre un site Web non efficace et celui visant à augmenter le taux de conversion.

La version actuelle de WebScore AI reflète l'opinion d'un internaute moyen sur l'apparence du site Web. Bien que nous puissions créer d’autres options, par exemple, il est possible d’évaluer la convivialité d’un site Web.

Sites Web utilisés pour former le système. Tout d’abord, nous avons rassemblé 12 000 sites et boutiques en ligne créés plusieurs années sur différentes plateformes et dans différentes langues. La tâche principale consistait à obtenir suffisamment d'exemples de gradations visuelles, allant de sites Web très mauvais à de très bons. De cette façon, nous avons montré au système ce qu’il peut rencontrer dans le Web moderne.

Quelques sites de l'échantillon de formation.

Chaque gradation est mesurée avec une échelle et cette échelle est supposée être comprise par une personne ordinaire dont nous essayons de modeler l'opinion. Nous avons donc eu une idée de l’échelle «de 1 à 10» utilisée dans notre service.

Les personnes qui sont imitées par WebScore AI. Nous avions besoin de deux éléments pour former un jeu de données (un ensemble de données pour un modèle de formation) à partir de plusieurs sites Web:

  • les signes par lesquels le système déterminera si le site Web est attrayant;
  • les notes faites à l'aide de notre échelle pour un certain nombre de sites. Ils deviendront un modèle pour le système.

Quelqu'un devrait mettre ces évaluations initiales. Un tel «enseignant», ou un groupe d '«enseignants», pour être plus spécifique, affectera grandement le fonctionnement du modèle.

Interface d’évaluation de sites Web: bientôt disponible sur notre GitHub.

Pour réunir un groupe de discussion, nous avons procédé à une sélection préliminaire de candidats sur 1500 exemples de sites Web. Un travail de routine, mais responsable et exigeant une grande concentration. La sélection préliminaire nous a permis d’éliminer les candidats non appropriés et d’exclure également les sites Web «controversés» (lorsque l’on attribue cette note à 1 et l’autre à 10).

Au début, nous avons expérimenté des méthodes d'évaluation.

Par exemple, nous avons proposé d’évaluer un site Web à la fois, puis deux sites à la fois, ou de choisir un site sur deux, le plus attrayant. L'approche selon laquelle le répondant n'a vu qu'un seul site Web et l'a évalué fonctionne mieux. Nous l'avons utilisé pour évaluer 10 000 des sites Web restants.

Une personne a évalué si un site Web est beau ou non. Comment la machine va-t-elle faire cela? Vous et moi n'avons besoin que d'un seul regard pour vous faire une idée de la beauté de quelque chose. Mais nous savons que le diable est dans les détails.

Les signes d’attractivité visuelle du site qui guideront le modèle constituent un moment clé pour l’ensemble du projet. Nous avons demandé un coup de main à l'équipe de conception de sites Web uKit. Leur travail sert de base à des centaines de milliers de sites Web et des millions de personnes le voient. Ensemble, nous avons compilé une liste étendue de fonctionnalités sur lesquelles les professionnels portent une attention particulière lors de la conception d'un site Web. Et ensuite essayé de le couper, ne laissant que les plus importants.

L'équipe de conception d'uKit.com.

En conséquence, nous avons obtenu une liste de contrôle de 125 critères différents mais significatifs, regroupés en quinze catégories. Par exemple, la liste contient: une adaptation aux écrans populaires, une variété de tailles de police, la pureté des couleurs, la longueur des en-têtes, la proportion des images sur la page entière, etc. Ce qui reste à faire est de former le modèle en utilisant ces règles.

Créez un algorithme. Qu'est-ce qu'un "modèle d'enseignement" exactement? C’est la construction d’un algorithme basé sur un ensemble de caractéristiques et pouvant évaluer le site Web sélectionné. Il est souhaitable que l’évaluation du système et l’évaluation de l’enseignant moyen partagent un écart minimum dans leurs évaluations finales.

Nous avons décidé d’utiliser la méthode de renforcement de gradient sur les arbres de décision, car c’est l’une des approches les plus populaires et les plus efficaces. À l'aide d'algorithmes de base, il construit un ensemble dont le résultat global dépasse les résultats de tout algorithme séparé.

De plus, en ajoutant chaque algorithme de base suivant, il tente d’améliorer la qualité des réponses de l’ensemble.

Pour accélérer et faciliter le processus, nous avons utilisé la bibliothèque CatBoost de Yandex, qui permet de créer un rappel basé sur un gradient dans des «arbres de décision oubliés», garantissant de bonnes capacités de formation d’un modèle dès le début et une transition rapide pour fournir des prévisions (estimations). ) pour les nouveaux objets.

Ajout d'un réseau de neurones. Lorsque l'algorithme de base était prêt, nous avons décidé de mener une expérience: les résultats s'amélioreront-ils si nous ajoutons un réseau de neurones? En fait, nous savions déjà comment "regarder" un site Web et sa conception, et nous avons maintenant décidé de donner au système une sorte de "loupe" qu'il peut utiliser pour révéler encore plus de détails.

Nous avons choisi l’un des réseaux les plus populaires, resnet50, reconnu comme un bon algorithme d’extraction de fonctionnalités de haut niveau. Et nous avons appris comment obtenir 1000 attributs supplémentaires pour l’évaluation de sites Web. En conséquence, le système caractérise désormais une URL sur un total de 1125 caractéristiques et trouve la "place" du site Web sur une échelle de 10 points. Le processus prend plusieurs dizaines de secondes. C’est pourquoi nous envisageons d’accélérer le modèle en réduisant le nombre de signes tout en maintenant la qualité de l’évaluation au même niveau.

Premiers résultats. Le modèle ainsi formé pourrait produire des estimations trois fois plus précises que celles des «enseignants» individuels.

Nous pouvons dire que le modèle a dépassé ses premiers enseignants puisque les estimations des groupes de discussion diffèrent beaucoup plus de la moyenne que les estimations du réseau de neurones. Maintenant, nous mettons l'algorithme dans le réseau pour une formation plus poussée. Et vous pouvez aussi en devenir l'enseignant.