Implementatie van beeldherkenning op mid-range smartphones

Het herkennen van beelden door een computer is een technologie die steeds meer doordringt in het alledaagse leven. Een voorbeeld zijn de tablets die in musea worden gebruikt, en die informatie over een kunstwerk laten zien als de camera op het kunstwerk wordt gericht. Andere voorbeelden zijn de wijnapp Vivino, die informatie over de kwaliteit van wijn laat zien als de camera wordt gericht op het etiket van een fles, en de app PlantNet, die met zeer bruikbare nauwkeurigheid planten, bomen en bloemen kan herkennen.

Beeldherkenning maakt over het algemeen gebruik van zware computermodellen, en daarom werken de meeste toepassingen met het doorsturen van een afbeelding naar een centrale server, die vervolgens het classificatie werk doet en het resultaat terugstuurt. Dit heeft het nadeel dat het een vrij traag proces is.

Voor een klant in de levensmiddelenindustrie heeft Carapax IT uitgezocht of het mogelijk is om beeldherkenning toe te passen op streaming video. Omdat de beeldherkenning zonder vertraging moet plaatsvinden, is een oplossing met een centrale server uitgesloten.

Ontwikkelaars van Carapax IT hebben daarom een app gemaakt gebaseerd op het in 2018 verschenen TensorFlow.js, waarmee machine learning modellen in een browser kunnen worden gedraaid. Door middel van Progressive Web App technologie is een app gemaakt die op mobiele telefoons kan draaien, en die het deep learning neurale netwerk MobileNet van Google in real-time toepast om beelden te herkennen.

Op kantoor worden een mandarijn, balpen, rugzak en computermonitor probleemloos binnen een paar seconden herkend. Een nietmachine wordt herkend als puntenslijper en een kopje rooibosthee als rode wijn, wat erop duidt dat om willekeurige voorwerpen te herkennen een groter model nodig is. Voor een beperkt domein, zoals frisdrank-etiketten, is een kleiner model wel haalbaar.

Deze deep-learning progressive web app is een voorbeeld van het soort geïntegreerde oplossing waar we bij Carapax IT enthousiast van worden. Met onze bovengemiddeld geschoolde data-scientists en ervaren projectleiders denken we graag met u mee.