Despre client
Clientul este o companie responsabila de administrarea si mentenanta infrastructurii electrice de inalta tensiune. Inspectiile periodice sunt esentiale pentru identificarea componentelor care pot necesita mentenanta sau inlocuire.
In cadrul acestui proces, echipele folosesc drone pentru a fotografia stalpii de transmisie si componentele acestora din mai multe unghiuri. O singura inspectie poate genera peste 1.500 de imagini de inalta rezolutie. Pana acum, identificarea potentialelor defecte presupunea verificarea manuala a acestui material, imagine cu imagine, si inregistrarea separata a rezultatelor.
Proiectul a analizat modul in care Computer Vision poate sustine acest proces prin verificarea automata a imaginilor de inspectie si directionarea operatorilor catre zonele care necesita cu adevarat atentia lor.
Provocarile si nevoile clientului
Principala provocare nu era colectarea datelor de inspectie, ci analizarea lor eficienta.
Inspectiile realizate cu drone produc un volum mare de imagini, iar defectele cautate de operatori pot fi foarte mici si dificil de diferentiat de elementele structurale normale.
Pentru prima etapa a proiectului, atentia s-a concentrat asupra unui anumit tip de defect: lipsa discurilor de sticla din lanturile de izolatoare.
Solutia trebuia, de asemenea, sa respecte o constrangere importanta privind securitatea infrastructurii. Imaginile de inspectie nu puteau fi trimise catre servicii AI externe sau servicii cloud. Prin urmare, procesarea trebuia sa aiba loc integral in infrastructura clientului.
Proiectul trebuia sa raspunda mai multor cerinte practice:
- Reducerea volumului de verificare manuala a imaginilor dupa fiecare inspectie.
- Detectarea potentialelor defecte cauzate de lipsa discurilor in volume mari de fotografii realizate cu drone.
- Mentinerea numarului de rezultate fals pozitive la un nivel gestionabil, astfel incat operatorii sa nu inlocuiasca un tip de munca manuala cu altul.
- Pastrarea unui expert uman implicat in validarea finala a fiecarui defect detectat.
- Asocierea imaginilor de inspectie si a problemelor detectate cu stalpul de transmisie corespunzator.
- Pastrarea tuturor imaginilor si a procesarii AI in infrastructura clientului.
- Crearea unei baze care sa poata sustine ulterior si alte tipuri de defecte ale infrastructurii.
Obiective
Utilizarea Computer Vision pentru analizarea automata a imaginilor realizate cu drone si identificarea zonelor in care poate exista un defect. Aplicatia trebuie sa reduca mii de imagini la un set relevant de rezultate, pastrand decizia finala in responsabilitatea unui operator cu experienta.
Sistemul este conceput pentru a sustine activitatea inspectorilor, nu pentru a elimina interventia umana.
Fiecare imagine de inspectie si fiecare defect detectat trebuie asociate cu stalpul corespunzator, astfel incat operatorii sa poata intelege unde este necesara interventia.
Toate procesele de inferenta AI si procesare a imaginilor trebuie sa ruleze local, fara a trimite imaginile de inspectie catre servicii externe.
Capacitatea initiala de detectare a discurilor lipsa trebuie sa ofere baza tehnica necesara pentru detectarea altor probleme in etapele viitoare ale proiectului.
Solutia
Roweb a dezvoltat o aplicatie personalizata de Computer Vision care gestioneaza fluxul de inspectie, de la inregistrarea liniilor si stalpilor pana la analiza imaginilor si validarea umana. In loc ca un operator sa verifice manual fiecare fotografie realizata cu drona, sistemul analizeaza mai intai imaginile si evidentiaza potentialele defecte. Rolul operatorului se schimba astfel din cautarea problemelor in verificarea rezultatelor identificate de sistem.
Fluxul incepe prin inregistrarea unei linii de transmisie si a stalpilor aferenti in aplicatie. Coordonatele stalpilor pot fi, de asemenea, afisate pe o harta. Atunci cand are loc o noua inspectie, fotografiile realizate cu drona sunt incarcate in platforma. O conventie predefinita de denumire permite sistemului sa asocieze automat fiecare fotografie cu stalpul corespunzator.
Pipeline-ul Computer Vision proceseaza apoi imaginile si cauta discuri lipsa in lanturile de izolatoare. Potentialele defecte sunt prezentate operatorului pentru validare. Dupa confirmare, stalpul corespunzator este marcat ca avand un defect in cea mai recenta inspectie si este evidentiat vizual pe harta.
Dupa finalizarea lucrarilor de mentenanta, poate fi creata o noua inspectie si pot fi incarcate imagini noi. Daca defectul nu mai este detectat si noua inspectie confirma remedierea problemei, stalpul revine la starea normala. Astfel se creeaza un istoric continuu al inspectiilor, nu doar un raport punctual de defecte.
Pipeline-ul de detectie AI
1. Localizarea izolatoarelor - Prima etapa identifica lanturile de izolatoare relevante in imaginea completa, de inalta rezolutie, realizata cu drona. Astfel, procesarea ulterioara este limitata la zonele relevante.
2. Detectarea discurilor individuale - Un al doilea model identifica discurile de sticla care formeaza fiecare lant de izolatoare. Pozitiile acestora ofera informatii despre distanta normala si structura componentei.
3. Analiza geometrica - Sistemul analizeaza succesiunea discurilor detectate si cauta distante neregulate care pot indica lipsa unui element.
4. Detectarea independenta a defectelor - Un model separat cauta direct modele vizuale asociate cu discurile lipsa. Utilizarea unei cai independente de detectie ajuta la identificarea cazurilor care pot sa nu fie evidente doar prin analiza geometrica.
5. Verificarea candidatilor - Potentialele defecte sunt analizate din nou folosind contextul vizual din jurul lor. Aceasta etapa este conceputa pentru a elimina o mare parte dintre alarmele false inainte ca rezultatele sa ajunga la operator.
6. Confirmarea umana - Candidatii ramasi sunt afisati in aplicatie, unde un inspector ii poate confirma sau respinge. Aceste decizii creeaza, de asemenea, date etichetate valoroase, care pot fi utilizate pentru imbunatatirea versiunilor viitoare ale modelelor.
Procesul de implementare
Liniile de transmisie si stalpii individuali sunt inregistrati in aplicatie, impreuna cu informatiile necesare pentru identificarea lor in timpul inspectiilor.
Rezultat: O reprezentare digitala structurata a infrastructurii inspectate.
Fotografiile de inspectie sunt incarcate in loturi si asociate cu stalpii corespunzatori folosind conventia stabilita pentru denumirea imaginilor.
Rezultat: Seturile mari de date de inspectie pot fi organizate automat, fara asocierea manuala a fiecarei imagini.
Pipeline-ul local de Computer Vision proceseaza fotografiile si identifica potentialele defecte cauzate de lipsa discurilor.
Rezultat: Operatorii primesc un set filtrat de rezultate relevante, in loc sa fie nevoiti sa caute in intreaga arhiva de imagini.
Un operator verifica fiecare rezultat si confirma sau respinge identificarea facuta de AI.
Rezultat: Deciziile de mentenanta raman sub control uman, in timp ce sistemul gestioneaza partea repetitiva de verificare.
Dupa reparatii, poate fi adaugata o noua inspectie pentru aceeasi linie. Noile fotografii sunt analizate folosind acelasi proces.
Rezultat: Aplicatia poate reflecta cea mai recenta stare inspectata a fiecarui stalp si poate mentine un istoric al inspectiilor in timp.
Indicatori de performanta
In timpul evaluarii proiectului, sistemul a demonstrat capacitatea de a aduce in atentia inspectorului aproximativ 90 din fiecare 100 de defecte cunoscute.
Pipeline-ul de procesare este proiectat si pentru loturi mari de inspectie. O linie electrica ce contine 1.525 de fotografii de inalta rezolutie poate fi procesata in aproximativ 35–50 de minute, in functie de mediul de procesare si de imaginile analizate.
Aceste cifre reprezinta rezultatele obtinute in etapa actuala de evaluare a proiectului si trebuie interpretate in contextul setului de date disponibil din partea clientului.
Tehnologii principale
Modele de detectie a obiectelor bazate pe Transformer sunt utilizate pentru mai multe sarcini vizuale, inclusiv localizarea izolatoarelor, detectarea discurilor individuale si detectarea directa a defectelor.
Un backbone de Computer Vision self-supervised este utilizat in pipeline-ul de verificare pentru a diferentia modelele reale de discuri lipsa de componentele functionale care pot semana vizual cu defectele.
O arhitectura usoara de retea neuronala este utilizata pentru una dintre sarcinile de verificare, acolo unde un model mai mic ofera performanta necesara fara costuri de procesare inutile.
Utilizat pentru antrenarea modelelor si experimentare.
Modelele sunt exportate intr-un format portabil pentru inferenta, permitand unor componente ale pipeline-ului AI sa ruleze eficient pe resurse CPU si reducand dependenta de mediile specifice utilizate pentru antrenare.
Gazduit local pentru adnotarea imaginilor si pregatirea seturilor de date. Fluxul de adnotare utilizeaza formatul COCO pentru transferul etichetelor structurate de imagine intre componente.
Utilizate pentru interfata de inspectie, galeriile de imagini, fluxurile de validare si vizualizarea rezultatelor detectiei.
Asigura nivelul API al aplicatiei si coordoneaza fluxul de inspectie.
Modelele Computer Vision ruleaza intr-un serviciu Python separat de detectie, expus intern printr-un API controlat.
Stocheaza datele inspectiilor, metadatele imaginilor, defectele detectate, deciziile operatorilor si informatiile necesare pentru reconstruirea procesului decizional.
Aplicatia si serviciile AI sunt containerizate, astfel incat intreaga solutie sa poata fi implementata in infrastructura clientului.
Arhitectura tehnica
Una dintre cerintele definitorii ale proiectului a fost ca fotografiile de inspectie sa ramana in mediul clientului. Din acest motiv, serviciul Computer Vision ruleaza intr-o retea interna, fara ruta externa catre internet.
Imaginile sunt stocate local, modelele ruleaza local, iar fluxul de procesare al aplicatiei nu depinde de API-uri AI din cloud.
Arhitectura separa aplicatia de business de serviciul de detectie AI. Managementul inspectiilor, utilizatorii, stalpii si informatiile despre flux sunt gestionate de nivelul aplicatiei, in timp ce analiza imaginilor, care necesita resurse de procesare mai mari, este realizata de serviciul Python dedicat.
Procesarea asincrona permite analizarea unei intregi linii de transmisie ca task de fundal, in timp ce aplicatia ramane disponibila utilizatorilor.
Aceasta arhitectura permite si inlocuirea individuala a modelelor AI. Pe masura ce apar modele mai performante, acestea pot fi evaluate si introduse fara reconstruirea intregii platforme de inspectie.
Human-in-the-Loop Learning
Feedback-ul inspectorilor joaca un rol important in proiect. Fiecare rezultat confirmat sau respins ofera informatii despre modul in care sistemul functioneaza pe imagini reale de inspectie. In timpul proiectului, setul de date a acumulat:
fotografii analizate pentru 577 de stalpi
de defecte confirmate de inspectori
de rezultate de detectie respinse
de defecte identificate manual de inspectori dupa ce au fost omise de sistem
Rezultatele respinse sunt deosebit de utile deoarece arata exact ce situatii vizuale creeaza dificultati modelelor.
Astfel se creeaza un mecanism practic de feedback: sistemul realizeaza verificarea initiala, expertul il corecteaza acolo unde este necesar, iar aceste corectii pot fi folosite in ciclurile ulterioare de antrenare.
Securitate si confidentialitatea datelor
Pentru proiectele de infrastructura critica, modul in care sunt gestionate datele face parte din arhitectura, nu este o functionalitate adaugata ulterior. Din acest motiv, mediul de detectie a fost proiectat sa functioneze offline.
Fotografiile de inspectie sunt procesate local si nu sunt transmise catre servicii Computer Vision sau servicii de AI generativa oferite de terte parti. Acelasi principiu se aplica adnotarii si inferentei modelelor.
Aceasta abordare ofera clientului control asupra imaginilor sensibile ale infrastructurii, permitand in acelasi timp utilizarea operationala a modelelor moderne de Computer Vision.
Rezultate si beneficii
- Mai putin timp petrecut verificand manual mii de fotografii realizate cu drone.
- Potentialele defecte sunt prezentate direct pentru verificare.
- Problemele confirmate raman asociate cu stalpul de transmisie corespunzator.
- Istoricul inspectiilor ofera context privind cea mai recenta stare cunoscuta a infrastructurii.
- Expertiza umana ramane implicata in fiecare decizie finala privind defectele.
- Defectele pot fi asociate cu locatia fizica si cu stalpul corespunzator.
- Rezultatele confirmate ofera un punct de pornire mai clar pentru planificarea mentenantei.
- Inspectiile ulterioare pot verifica starea infrastructurii dupa interventie.
- Un flux digital repetabil inlocuieste verificarea fragmentata a imaginilor si raportarea manuala.
- Seturile mari de date de inspectie pot fi analizate considerabil mai rapid.
- Imaginile sensibile ale infrastructurii raman in mediul propriu al organizatiei.
- Feedback-ul inspectorilor creeaza date reutilizabile pentru antrenare.
- Arhitectura poate fi extinsa fara reproiectarea intregii aplicatii.
Directii viitoare si imbunatatiri planificate
Detectarea discurilor lipsa reprezinta prima etapa a unei abordari mai ample bazate pe Computer Vision pentru inspectia infrastructurii electrice. Acelasi flux de inspectie si aceeasi arhitectura tehnica pot fi extinse cu modele specializate suplimentare.
Obiectivul este cresterea treptata a partii dintr-o inspectie care poate fi verificata automat, pastrand validarea expertilor in centrul deciziilor de mentenanta.
Directiile de dezvoltare planificate includ:
- Inspectia structurilor metalice - identificarea problemelor vizibile care afecteaza componentele structurale.
- Detectarea ruginii si coroziunii - evidentierea zonelor care prezinta semne de deteriorare.
- Monitorizarea vegetatiei - detectarea vegetatiei care poate necesita taiere in jurul infrastructurii de transmisie.
- Analiza multi-imagine - compararea mai multor perspective ale aceleiasi componente atunci cand o singura fotografie nu ofera suficiente informatii vizuale pentru o decizie sigura.
Rezultatul
Proiectul poate schimba o parte simpla, dar costisitoare, a inspectiei infrastructurii: identificarea catorva probleme relevante ascunse printre mii de fotografii.
Echipele care opereaza dronele pot continua sa colecteze imagini de inspectie ca pana acum. Diferenta apare ulterior. In loc ca un inspector sa analizeze fiecare imagine cu acelasi nivel de atentie, sistemul Computer Vision realizeaza prima verificare si aduce in prim-plan potentialele probleme. Inspectorul ia decizia finala.
Pentru o organizatie care gestioneaza volume mari de infrastructura critica, aceasta diferenta este importanta: AI gestioneaza cautarea repetitiva, in timp ce responsabilitatea evaluarii finale ramane la persoanele care cunosc infrastructura.
