TFX, kar pomeni TensorFlow Extended, je celovita platforma od konca do konca za gradnjo cevovodov strojnega učenja, pripravljenih na proizvodnjo. Zagotavlja nabor orodij in komponent, ki olajšajo razvoj in uvajanje razširljivih in zanesljivih sistemov strojnega učenja. TFX je zasnovan tako, da obravnava izzive upravljanja in optimizacije cevovodov strojnega učenja, kar omogoča podatkovnim znanstvenikom in inženirjem, da se osredotočijo na gradnjo in ponavljanje modelov, namesto da bi se ukvarjali s kompleksnostjo upravljanja infrastrukture in podatkov.
TFX organizira cevovod strojnega učenja v več vodoravnih plasti, od katerih vsaka služi določenemu namenu v celotnem poteku dela. Ti sloji delujejo skupaj, da zagotovijo nemoten pretok podatkov in artefaktov modela ter učinkovito izvajanje cevovoda. Raziščimo različne plasti v TFX za upravljanje in optimizacijo cevovoda:
1. Vnos in preverjanje podatkov:
Ta plast je odgovorna za vnos neobdelanih podatkov iz različnih virov, kot so datoteke, baze podatkov ali pretočni sistemi. TFX ponuja orodja, kot je TensorFlow Data Validation (TFDV), za izvajanje preverjanja podatkov in ustvarjanje statistike. TFDV pomaga prepoznati anomalije, manjkajoče vrednosti in odstopanje podatkov, kar zagotavlja kakovost in doslednost vhodnih podatkov.
2. Predhodna obdelava podatkov:
V tej plasti TFX ponuja TensorFlow Transform (TFT) za izvajanje predprocesiranja podatkov in inženiring funkcij. TFT omogoča uporabnikom, da definirajo transformacije na vhodnih podatkih, kot so skaliranje, normalizacija, kodiranje z enim pritiskom itd. Te transformacije se dosledno uporabljajo med usposabljanjem in strežbo, kar zagotavlja doslednost podatkov in zmanjšuje tveganje nepravilnosti podatkov.
3. Usposabljanje modela:
TFX izkorišča zmogljive zmožnosti usposabljanja TensorFlow v tem sloju. Uporabniki lahko definirajo in učijo svoje modele strojnega učenja z uporabo API-jev na visoki ravni TensorFlow ali kode TensorFlow po meri. TFX ponuja orodja, kot je TensorFlow Model Analysis (TFMA), za ocenjevanje in potrjevanje usposobljenih modelov z uporabo meritev, vizualizacij in tehnik rezanja. TFMA pomaga oceniti delovanje modela in prepoznati morebitne težave ali pristranskosti.
4. Validacija in vrednotenje modela:
Ta plast se osredotoča na potrjevanje in ocenjevanje usposobljenih modelov. TFX zagotavlja preverjanje podatkov TensorFlow Data Validation (TFDV) in TensorFlow Model Analysis (TFMA) za izvedbo celovite validacije in vrednotenja modela. TFDV pomaga preveriti vhodne podatke glede na pričakovanja, opredeljena med fazo vnosa podatkov, medtem ko TFMA uporabnikom omogoča, da ocenijo zmogljivost modela glede na vnaprej določene metrike in rezine.
5. Razporeditev modela:
TFX podpira uvajanje modela v različnih okoljih, vključno s TensorFlow Serving, TensorFlow Lite in TensorFlow.js. TensorFlow Serving omogoča uporabnikom, da svoje modele strežejo kot razširljive in učinkovite spletne storitve, medtem ko TensorFlow Lite in TensorFlow.js omogočata uvajanje na mobilnih oziroma spletnih platformah. TFX ponuja orodja in pripomočke za enostavno pakiranje in uvajanje usposobljenih modelov.
6. Orkestracija in upravljanje poteka dela:
TFX se integrira s sistemi za upravljanje poteka dela, kot sta Apache Airflow in Kubeflow Pipelines, za usmerjanje in upravljanje celotnega cevovoda strojnega učenja. Ti sistemi zagotavljajo zmogljivosti za načrtovanje, spremljanje in obravnavanje napak, kar zagotavlja zanesljivo izvajanje cevovoda.
Z organiziranjem cevovoda v te vodoravne plasti TFX omogoča podatkovnim znanstvenikom in inženirjem, da učinkovito razvijajo in optimizirajo sisteme strojnega učenja. Zagotavlja strukturiran in razširljiv pristop za obvladovanje zapletenosti vnosa podatkov, predprocesiranja, usposabljanja modela, validacije, vrednotenja in uvajanja. S TFX se lahko uporabniki osredotočijo na izdelavo visokokakovostnih modelov in zagotavljanje vrednosti svojim organizacijam.
TFX za upravljanje in optimizacijo cevovoda vključuje vodoravne plasti za vnos in validacijo podatkov, predhodno obdelavo podatkov, usposabljanje modela, validacijo in vrednotenje modela, uvajanje modela ter orkestracijo in upravljanje poteka dela. Ti sloji sodelujejo pri poenostavitvi razvoja in uvajanja cevovodov za strojno učenje, kar omogoča podatkovnim znanstvenikom in inženirjem, da zgradijo razširljive in zanesljive sisteme strojnega učenja.
Druga nedavna vprašanja in odgovori v zvezi Osnove EITC/AI/TFF TensorFlow:
- Kako lahko uporabimo vdelano plast za samodejno dodelitev ustreznih osi za graf predstavitve besed kot vektorjev?
- Kakšen je namen največjega združevanja v CNN?
- Kako se postopek ekstrakcije značilnosti v konvolucijski nevronski mreži (CNN) uporablja za prepoznavanje slik?
- Ali je treba uporabiti funkcijo asinhronega učenja za modele strojnega učenja, ki se izvajajo v TensorFlow.js?
- Kaj je parameter največjega števila besed API-ja TensorFlow Keras Tokenizer?
- Ali je mogoče API TensorFlow Keras Tokenizer uporabiti za iskanje najpogostejših besed?
- Kaj je TOCO?
- Kakšno je razmerje med številom epoh v modelu strojnega učenja in natančnostjo napovedi pri izvajanju modela?
- Ali API za sosednje pakete v Neural Structured Learning of TensorFlow ustvari razširjen nabor podatkov za usposabljanje na podlagi podatkov naravnega grafa?
- Kaj je API za sosednje pakete v nevronsko strukturiranem učenju TensorFlow?
Oglejte si več vprašanj in odgovorov v EITC/AI/TFF TensorFlow Fundamentals