EITC/AI/DLPP Deep Learning met Python en PyTorch

Kunstmatige neurale netwerken (ANNs) werden geïnspireerd door informatieverwerking en gedistribueerde communicatieknooppunten in biologische systemen. Het adjectief "diep" in diep leren verwijst naar het gebruik van meerdere lagen in het netwerk. Vroeg werk toonde aan dat een lineair perceptron geen universele classificator kan zijn, en dat een netwerk met een niet-polynomiale activeringsfunctie met een verborgen laag van onbegrensde breedte dat wel kan zijn. Deep learning is een moderne variant die zich bezighoudt met een onbegrensd aantal lagen van begrensde grootte, die praktische toepassing en geoptimaliseerde implementatie mogelijk maakt, terwijl de theoretische universaliteit onder milde omstandigheden behouden blijft. Bij deep learning mogen de lagen ook heterogeen zijn en sterk afwijken van biologisch geïnformeerde connectionistische modellen, omwille van efficiëntie, trainbaarheid en begrijpelijkheid, vanwaar het "gestructureerde" deel.

Python wordt dynamisch getypeerd (voert tijdens runtime veel algemeen programmeergedrag uit dat statische programmeertalen uitvoeren tijdens het compileren) en wordt als afval verzameld (met automatisch geheugenbeheer). Het ondersteunt meerdere programmeerparadigma's, waaronder gestructureerd (in het bijzonder procedureel), objectgeoriënteerd en functioneel programmeren. Het werd eind jaren tachtig gemaakt en voor het eerst uitgebracht in 1980 door Guido van Rossum als opvolger van de programmeertaal ABC. Python 1991, uitgebracht in 2.0, introduceerde nieuwe functies, zoals lijstbegrip en een garbagecollection-systeem met referentietelling, en werd stopgezet met versie 2000 in 2.7. Python 2020, uitgebracht in 3.0, was een grote herziening van de taal die is niet volledig achterwaarts compatibel en veel Python 2008-code draait niet ongewijzigd op Python 2. Met het einde van de levensduur van Python 3 (en pip heeft de ondersteuning in 2 laten vallen), worden alleen Python 2021.x en later ondersteund, met oudere versies nog steeds ondersteuning van bijvoorbeeld Windows 3.6 (en oude installatieprogramma's niet beperkt tot 7-bit Windows).

Python-interpreters worden ondersteund voor reguliere besturingssystemen en zijn beschikbaar voor een paar meer (en in het verleden ondersteund voor veel meer). Een wereldwijde gemeenschap van programmeurs ontwikkelt en onderhoudt CPython, een gratis en open-source referentie-implementatie. Een non-profitorganisatie, de Python Software Foundation, beheert en stuurt bronnen voor Python- en CPython-ontwikkeling.

Vanaf januari 2021 staat Python op de derde plaats in de TIOBE-index van meest populaire programmeertalen, achter C en Java, nadat ze eerder de tweede plaats behaalden en hun prijs voor de meeste populariteitstoename voor 2020. Het werd in 2007, 2010 gekozen tot Programmeertaal van het Jaar , en 2018.

Een empirische studie wees uit dat scripttalen, zoals Python, productiever zijn dan conventionele talen, zoals C en Java, voor programmeerproblemen met stringmanipulatie en zoeken in een woordenboek, en stelde vast dat het geheugengebruik vaak 'beter was dan Java en niet veel erger dan C of C ++ ”. Grote organisaties die Python gebruiken, zijn oa Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram.

Naast de kunstmatige-intelligentietoepassingen wordt Python, als scripttaal met modulaire architectuur, eenvoudige syntaxis en rich text-verwerkingstools, vaak gebruikt voor de verwerking van natuurlijke taal.

PyTorch biedt twee functies op hoog niveau:

• Tensorcomputing (zoals NumPy) met sterke versnelling via grafische verwerkingseenheden (GPU)
• Diepe neurale netwerken gebouwd op een automatisch (computationeel) differentiatiesysteem op tape

Facebook exploiteert zowel PyTorch als Convolutional Architecture for Fast Feature Embedding (Caffe2), maar modellen die door de twee frameworks waren gedefinieerd, waren onderling incompatibel. Het Open Neural Network Exchange (ONNX) -project is in september 2017 door Facebook en Microsoft gemaakt voor het converteren van modellen tussen frameworks. Caffe2 is eind maart 2018 samengevoegd met PyTorch.

PyTorch definieert een klasse genaamd Tensor (torch.Tensor) om homogene, multidimensionale rechthoekige reeksen getallen op te slaan en te bewerken. PyTorch Tensors zijn vergelijkbaar met NumPy Arrays, maar kunnen ook worden gebruikt op een CUDA-compatibele Nvidia GPU. PyTorch ondersteunt verschillende subtypes van Tensoren.

Er zijn enkele belangrijke modules voor Pytorch. Waaronder:

• Autograd-module: PyTorch gebruikt een methode die automatische differentiatie wordt genoemd. Een recorder neemt op welke bewerkingen hebben plaatsgevonden en speelt deze vervolgens achterwaarts af om de verlopen te berekenen. Deze methode is vooral krachtig bij het bouwen van neurale netwerken om tijd te besparen op één tijdperk door differentiatie van de parameters bij de voorwaartse doorgang te berekenen.
• Optim-module: torch.optim is een module die verschillende optimalisatie-algoritmen implementeert die worden gebruikt voor het bouwen van neurale netwerken. De meeste veelgebruikte methoden worden al ondersteund, dus u hoeft ze niet helemaal opnieuw te bouwen.
• nn-module: PyTorch autograd maakt het gemakkelijk om rekengrafieken te definiëren en gradiënten te nemen, maar onbewerkte autograd kan een beetje te laag niveau zijn voor het definiëren van complexe neurale netwerken. Dit is waar de nn-module kan helpen.