Google AutoML

Tester par soi-même

Nous avons pris soin de garder de côté un lot d’images pour la validation : 150 images de chaque label.
Nous allons appeler l’API pour chacune d’elle, afin d’obtenir la « matrice de corrélation ».

Pour utiliser l’API en local, il faut passer par la création d’un serviceAccount et générer la clef d’accès qu’il faudra référencer dans le code :

gcloud iam service-accounts create myautomml
gcloud projects add-iam-policy-binding [PROJECT_ID] --member "serviceAccount:myautomml@[PROJECT_ID].iam.gserviceaccount.com" --role "roles/owner"
gcloud iam service-accounts keys create ~/.gsutil/credentials-automl.json --iam-account=myautomml@[PROJECT_ID].iam.gserviceaccount.com

Le code complet de l’appel est sur mon Github.

Le principe est de boucler sur la liste des images, afin d’appeler l’API pour chacune des images. En cas d’erreur de prédiction, est incrémenté automatiquement un compteur et l’image est affichée.
Un fichier CSV est créé à des fins de statistiques en cas de besoin.

def check_prediction(classe):
    error = 0
    files = get_file_list(f'{PATH}valid/' + classe)
    print("Input images number : ", len(files))
    csv = ""
    for image in files:
        #print(image)
        with open(image, 'rb') as ff:
            content = ff.read()
        pred = get_prediction(content, "causal-plating-174112", "ICN1845979794395276XXX")
        for result in pred.payload:
            if classe != result.display_name:
                print("PREDICTION ERROR for", image, "with score", str(result.classification.score))
                error += 1
                img=mpimg.imread(image)
                imgplot = plt.imshow(img)
                plt.show()
                csv += image + ";" + classe + ";" + result.display_name + ";" + str(result.classification.score) + ";0\n"
            else:
                csv += image + ";" + classe + ";" + result.display_name + ";" + str(result.classification.score) + ";1\n"
    f = open("autoML-"+classe+"-result.csv", "w")
    f.write(csv)
    f.close()
    print(error, "errors on", len(files), "predictions for", classe)
    return error, len(files)

La matrice de confusion est la suivante :

On constate que dans les images mal classifiées certaines le sont à juste titre, comme cet avion qui n’est pas un 747, ni un A380 :

Nous pourrons la comparer à celle obtenue par notre propre solution qui fera l’objet d’un prochain article.

Bilan

Avantages

• Très simple
• Pas besoin de connaissances en programmation
• Avertissement des doublons dans le contenu des images
• Mise à disposition d’une API de prédiction
• Possibilité de faire appel à des humains pour réaliser la labellisation du jeu de données directement dans l’interface

Inconvénients

• Ils sont principalement liés à l’usage du cloud :
  • Les données doivent être envoyées à Google.
  • Il faut payer le stockage, l’entraînement et surtout les appels à l’API de prédiction qui peuvent représenter un coût important pour une application grand public.
  • Temps de latence réseau pour les prédictions
• On peut souligner également :
  • Limité à de la classification d’un seul label par image
  • Pas de segmentation sémantique
  • Pas d’accès aux paramétrages ni au type de modèle

En tout cas, on ne peut que saluer l’existence de cette solution qui met à la portée de tous, la possibilité de créer sa propre « intelligence artificielle ».