Wat is Shap-E van OpenAI en wat kan het doen?

Onderzoeks- en implementatiebedrijven op het gebied van kunstmatige intelligentie (AI), zoals OpenAI, brengen continu functies uit ten behoeve van de mensheid. Naast ChatGPT, DALL-E, Point-E en andere succesvolle tools heeft OpenAI Shap-E uitgebracht, een nieuw innovatief model.

Dus wat is Shap-E van OpenAI en wat kan het voor u doen?

Wat is de Shap-E van OpenAI?

In mei 2023 brachten Alex Nichol en Heewon Jun, onderzoekers en medewerkers van OpenAI, een papier waarin Shap-E wordt aangekondigd, de nieuwste innovatie van het bedrijf. Shap-E is een nieuwe tool die is getraind op een enorme dataset van gepaarde 3D-afbeeldingen en tekst die 3D-modellen kan genereren uit tekst of afbeeldingen. Het lijkt op DALL-E, dat 2D-afbeeldingen van tekst kan maken, maar Shap-E produceert 3D-items.

Shap-E is getraind op een conditioneel diffusiemodel en 3D asset mapping. Het in kaart brengen van 3D-assets betekent dat Shap-E leert om tekst of afbeeldingen te associëren met overeenkomstige 3D-modellen uit een grote dataset van bestaande 3D-objecten. Een voorwaardelijk diffusiemodel is een generatief model dat uitgaat van een luidruchtige versie van de doeluitvoer en deze geleidelijk verfijnt door ruis te verwijderen en details toe te voegen.

Door deze twee componenten te combineren, kan Shap-E realistische en diverse 3D-modellen genereren die overeenkomen met de gegeven tekst- of beeldinvoer en die vanuit verschillende hoeken en lichtomstandigheden kunnen worden bekeken.

Hoe u Shap-E van OpenAI kunt gebruiken

Shap-E is niet openbaar gemaakt zoals andere OpenAI-tools, maar het modelgewicht, de inferentiecode en voorbeelden kunnen worden gedownload op de Shap-E GitHub bladzijde.

Je kunt de Shap-E-code gratis en gratis downloaden installeer het met behulp van de Python pip-opdracht op jouw computer. U hebt ook een NVIDIA GPU en een krachtige CPU nodig, aangezien Shap-E erg veel resources vergt.

Open na de installatie de 3D-afbeeldingen die u genereert op Microsoft Paint 3D. Evenzo kunt u converteer de afbeeldingen naar STL-bestanden als je ze wilt printen met 3D-printers.

U kunt ook problemen melden en oplossingen vinden voor problemen die al door anderen naar voren zijn gebracht op de Shap-E GitHub-pagina.

Wat u kunt doen met Shap-E van OpenAI

Shap-E stelt u in staat om complexe ideeën te beschrijven met behulp van een visuele weergave van ideeën. De potentiële toepassingen van deze technologie zijn grenzeloos, vooral omdat beeld doorgaans veel verdergaande effecten heeft dan tekst.

Als architect kunt u Shap-E gebruiken om 3D-modellen van gebouwen en constructies te maken op basis van schriftelijke beschrijvingen. U kunt de afmetingen, materialen, kleuren en stijlen van de structuren specificeren met behulp van eenvoudige zinnen. U kunt het bijvoorbeeld vragen met: "Maak een wolkenkrabber met 60 verdiepingen en glazen balustrades" en de resultaten exporteren naar andere software voor verdere bewerking als de resultaten u bevallen.

Gamers en animatiekunstenaars kunnen virtuele omgevingen en visuele ervaringen verbeteren door gedetailleerde 3D-objecten en personages te creëren. In engineering kun je componenten, specificaties en functies van machines en apparatuur beschrijven en de resultaten in 3D-modellen krijgen voordat je fysieke prototypes maakt.

Bovendien kan Shap-E, zelfs op gebieden als onderwijs, docenten helpen complexe en abstracte ideeën over te brengen aan hun studenten in vakken als biologie, meetkunde en natuurkunde.

Hoewel het nog steeds een work in progress is, is Shap-E een stap voor op OpenAI's PUNT-E, die 3D-puntenwolken produceert op basis van tekstprompts. De puntenwolken zijn beperkt in hun expressiviteit en resolutie en produceren vaak wazige of onvolledige vormen.

Genereer 3D-modellen met behulp van OpenAI's Shap-E

Shap-E is een indrukwekkende demonstratie van de kracht van AI om 3D-inhoud te creëren uit natuurlijke taal of afbeeldingen. Hiermee kun je 3D-objecten maken voor computerspellen, interactieve VR-ervaringen, prototypes en andere doeleinden. Hoewel er geen garanties zijn met betrekking tot de uitvoerkwaliteit, biedt het AI-model u een snelle en efficiënte manier om van alles een 3D-model te maken.

Bovendien is dit AI-model een belangrijke bijdrage in de deep learning-ruimte en zal het waarschijnlijk leiden tot toekomstige geavanceerde innovaties en creaties.