Adam
Adam

Shap-E: Tworzenie 3D z tekstu open-source dzięki OpenAI

Wyobraź sobie, że możesz stworzyć własny 3D świat z tekstu. Na przykład, żeby napisać “zielony smok na niebie” i zobaczyć, jak wyglądałby taki stwór. To możliwe dzięki nowemu modelowi generatywnemu dla assetów 3D, stworzonemu przez OpenAI. Nazywa się Shap-E i jest w stanie tworzyć realistyczne i spójne, trójwymiarowe obrazy na podstawie podpowiedzi tekstowych.

</tbody></table> Shap-E działa na zasadzie *[funkcji niejawnych](https://en.wikipedia.org/wiki/Implicit_function)*, czyli takich, które określają, co znajduje się w danej przestrzeni 3D. Shap-E używa sieci neuronowej, która przyjmuje jako wejście współrzędne 3D punktu i zwraca jako wyjście kolor i gęstość tego punktu. Shap-E uczy się mapować tekst na parametry sieci neuronowej, która reprezentuje funkcję niejawną. Następnie Shap-E może generować nowe assety 3D na podstawie nowych tekstów. Shap-E ma kilka zalet w porównaniu do innych modeli generatywnych 3D. Po pierwsze, Shap-E może generować zarówno *teksturowane siatki*, jak i *pola promienistości neuronowej (NeRF)*, czyli dwa sposoby renderowania 3D obrazów. Po drugie, Shap-E wykorzystuje technikę *dyfuzji warunkowej*, która pozwala na lepszą kontrolę nad różnorodnością i jakością generowanych obrazów. Po trzecie, Shap-E jest szybszy i łatwiejszy do trenowania niż inne modele generatywne 3D. Shap-E ma wiele potencjalnych zastosowań w różnych dziedzinach, takich jak grafika komputerowa, projektowanie gier, edukacja czy medycyna. Może być używany do tworzenia, edycji lub ulepszania assetów 3D na podstawie tekstu lub głosu. Może być też używany do nauki o kształtach i kolorach poprzez interaktywną eksplorację 3D świata. Shap-E jest jednym z niewielu projektów OpenAI udostępnionych na otwartym kodzie źródłowym. Model ten jest dostępny wraz z wagami modelu, kodem wnioskowania i próbkami na GitHubie pod tym adresem: https://github.com/openai/shap-e
Prompt
a penguina penguina penguina penguina penguin
a campfirea campfirea campfirea campfirea campfire
an elephantan elephantan elephantan elephantan elephant
a donut with pink icinga donut with pink icinga donut with pink icinga donut with pink icinga donut with pink icing
a voxelized doga voxelized doga voxelized doga voxelized doga voxelized dog
ube ice cream coneube ice cream coneube ice cream coneube ice cream coneube ice cream cone
a birthday cupcakea birthday cupcakea birthday cupcakea birthday cupcakea birthday cupcake
shepherds pieshepherds pieshepherds pieshepherds pieshepherds pie
a bowl of vegetablesa bowl of vegetablesa bowl of vegetablesa bowl of vegetablesa bowl of vegetables
a cheeseburgera cheeseburgera cheeseburgera cheeseburgera cheeseburger
a plate of mushy green peasa plate of mushy green peasa plate of mushy green peasa plate of mushy green peasa plate of mushy green peas
a traffic conea traffic conea traffic conea traffic conea traffic cone
a car that looks like an avocadoa car that looks like an avocadoa car that looks like an avocadoa car that looks like an avocadoa car that looks like an avocado
an airplane that looks like a bananaan airplane that looks like a bananaan airplane that looks like a bananaan airplane that looks like a bananaan airplane that looks like a banana
a stop signa stop signa stop signa stop signa stop sign
a spaceshipa spaceshipa spaceshipa spaceshipa spaceship
a race cara race cara race cara race cara race car
a schoolbusa schoolbusa schoolbusa schoolbusa schoolbus
a firetrucka firetrucka firetrucka firetrucka firetruck
a rusty old cara rusty old cara rusty old cara rusty old cara rusty old car
a fast cara fast cara fast cara fast cara fast car
a chair that looks like an avocadoa chair that looks like an avocadoa chair that looks like an avocadoa chair that looks like an avocadoa chair that looks like an avocado
a chair that looks like fruita chair that looks like fruita chair that looks like fruita chair that looks like fruita chair that looks like fruit
a chair that looks like a treea chair that looks like a treea chair that looks like a treea chair that looks like a treea chair that looks like a tree
a chair that looks like a zebraa chair that looks like a zebraa chair that looks like a zebraa chair that looks like a zebraa chair that looks like a zebra
a chair that looks like a swimming poola chair that looks like a swimming poola chair that looks like a swimming poola chair that looks like a swimming poola chair that looks like a swimming pool
the person is runningthe person is runningthe person is runningthe person is runningthe person is running
the person is sittingthe person is sittingthe person is sittingthe person is sittingthe person is sitting
the person is lying downthe person is lying downthe person is lying downthe person is lying downthe person is lying down
a person that looks like a zebraa person that looks like a zebraa person that looks like a zebraa person that looks like a zebraa person that looks like a zebra
a person that looks like a leoparda person that looks like a leoparda person that looks like a leoparda person that looks like a leoparda person that looks like a leopard
a pair of shortsa pair of shortsa pair of shortsa pair of shortsa pair of shorts
a designer dressa designer dressa designer dressa designer dressa designer dress
banana shoesbanana shoesbanana shoesbanana shoesbanana shoes
a green boota green boota green boota green boota green boot
a pair of sunglassesa pair of sunglassesa pair of sunglassesa pair of sunglassesa pair of sunglasses

comments powered by Disqus