Adobe Firefly: poradnik

Wraz z pojawieniem się Dall-E, , Midjourney i Stable Diffusion Adobe -gigant tworzenia treści cyfrowych- poczuło zagrożenie: jego pozycja mogła zostać poważnie zachwiana.

Bo skoro za pomocą kilku linijek tekstu mogliśmy tworzyć dowolne obrazy (fotorealistyczne, ilustracje, interfejsy produktów cyfrowych…), to po co mielibyśmy korzystać z ich pakietu narzędzi?

Dlatego Adobe zaczęło pracować nad swoimi własnymi narzędziami do generowania treści za pomocą AI i na początku uruchomiło dwa (kolejne są już w drodze):

• Wypełnianie generatywne w Photoshopie.
• Adobe Firefly: generator obrazów z tekstu (i jeszcze parę rzeczy).

W tym artykule opowiem ci o tym drugim.

O tym, jak stało się niezwykle przydatnym narzędziem w mojej codziennej pracy.

Wyjaśnię ci, jak podchodzę do kilku dość częstych przypadków użycia.

Dzięki temu, jeśli wykonujesz podobne zadania, możesz dodać je do swojego arsenału i ocenić jego przydatność na tle innych możliwości.

Zacznijmy więc od początku.

Czym jest Adobe Firefly?

Firefly to nazwa, którą Adobe nadało swojej generatywnej sztucznej inteligencji, która pozwala na podstawie tekstu (promptu) tworzyć obrazy od zera, retuszować lub modyfikować istniejące, tworzyć i łatwo edytować filmy albo tworzyć wektory na podstawie szkiców.

Jak widzisz, jest całkiem rozbudowane i wykracza poza to, co obecnie oferują alternatywy takie jak Stable Diffusion czy Midjourney, by wymienić dwie najpopularniejsze.

Dodatkowym plusem tego, że pochodzi od Adobe, jest integracja z jego narzędziami do edycji, takimi jak Photoshop czy Illustrator..

Dla osób, które z tych narzędzi nie korzystają, istnieje jednak również osobna platforma internetowa, więc każdy może używać Firefly niezależnie.

I właśnie tę platformę ci wyjaśnię.

Zastosowania Adobe Firefly

Na początek musisz wejść do narzędzia i utworzyć darmowe konto , jeśli jeszcze go nie masz.

Po wejściu zobaczysz, że na dziś narzędzie ma sześć typów zastosowań. Cztery już działają, a dwa kolejne mają ruszyć wkrótce:

Przejdźmy przez każdy z nich i zobaczmy, co może nam dać.

Text to image

Pierwszy jest chyba najbardziej znany i najczęściej używany.

To bezpośrednia konkurencja dla Midjourney i Dall-E: generator obrazów na podstawie promptów.

Czyli wpisujemy tekst -po angielsku- a narzędzie zamienia go w kilka obrazów, spośród których wybieramy ten, który nam się podoba, albo dalej modyfikujemy tekst, aż uzyskamy to, czego chcemy.

Sposób użycia

Po wejściu do tej funkcji otwiera się karuzela z nieskończonym przewijaniem obrazów wygenerowanych za pomocą narzędzia.

Po najechaniu kursorem na któryś z nich zobaczymy prompt, który go wygenerował:

Chociaż możemy kliknąć dowolny z nich, by otworzyć generator, najlepiej poświęcić kilka sekund na znalezienie obrazu, który ma styl lub ton podobny do tego, czego szukamy – nawet jeśli sam obraz przedstawia coś innego –, bo oszczędzi nam to czasu na edycji.

Wyjaśnię to na przykładzie:

Załóżmy, że potrzebuję nurka jako głównego motywu ilustracji dna morskiego.

Krok 1: wybór obrazu początkowego

Patrzę i widzę to:

Do ilustracji, którą mam w głowie, pasują mi:

• Ujęcie z przodu.
• Styl fantastycznego realizmu obrazu.
• Oświetlenie i tonacja kolorystyczna.

Klikam więc obraz i otwiera się generator, w którym mogę zobaczyć użyty prompt i go zmodyfikować, a także ustawić style obrazu:

Krok 2: dostosowanie promptu, aby uzyskać obraz bazowy

Najpierw mogę zmodyfikować prompt tak, by odpowiadał mojemu pomysłowi.

Jeśli nie bardzo wiem, jak wyjaśnić po angielsku, czego chcę, mogę użyć tłumacza online takiego jak DeepL do tego celu:

Następnie wklejam go do Firefly i generuję wyniki:

Pshhhhh…

Tak, to jest to, o co prosiliśmy, ale szczerze mówiąc, daleko temu do tego, czego szukałem. Trzeba więc trochę dopracować generowanie obrazu.

Mogę zrobić głównie dwie rzeczy:

#1. Użycie obrazu referencyjnego

Na stronie z kiepskimi wynikami wracam strzałką przeglądarki do mojego początkowego kosmicznego koali.

W tym momencie, wybieram obraz, który podoba mi się najbardziej, i ustawiam go jako wzorzec z ikony trzech kropek, która pojawia się w prawym górnym rogu po najechaniu kursorem na obraz:

Mimo deformacji twarzy wyniki zaczynają być (trochę) lepsze do mojego celu:

Kilka ciekawostek:

• Najbardziej oczywiste jest to, że Firefly wykorzystało kształt uszu koali do zaprojektowania przewodów powietrznych.
• Obrazy są bardziej realistyczne niż fantastyczne, ponieważ wskazałem, że chcę treść typu "zdjęcie". Zaraz wrócimy do tego punktu.
• Wybieram neutralne tło, aby później pokazać ci pełne zastosowanie narzędzia, ale gdybym potrzebował tylko ilustracji nurka, stworzyłbym tło od razu tutaj.
• Możemy wybrać wagę obrazu referencyjnego za pomocą suwaka, który pojawia się po kliknięciu tego obrazu. Zwykle 50% daje najlepsze rezultaty:

Ponieważ nadal nie jestem do końca zadowolony z wyników, pokażę ci drugą metodę ich poprawiania.

#2. Zmiana promptu

To druga opcja poprawienia początkowych rezultatów. I jest znacznie prostsza.

Jeśli zmienię powyższy prompt na: "Cyberpunk diver in bright blue submarine suit, face covered, on a neutral background", wyniki są znacznie lepsze do mojego celu:

Tu sytuacja się zmienia.

Dwa obrazy po prawej, szczególnie górny, mogłyby mi się przydać i posłużyć jako referencja..

I dokładnie to zrobię. Będzie to mój punkt wyjścia..

Krok 3: wybór formatu

To kluczowe z dwóch powodów:

1. Musi pasować do mojej ilustracji.
2. Przy eksporcie Firefly dodaje do obrazu znak wodny, który popsuje kompozycję (jeśli nie przewidzimy tego wcześniej).

Później wyjaśnię, jak walczyć z drugim problemem, ale na razie zostańmy przy pierwszym.

W prawym panelu mamy wszystkie opcje dotyczące treści.

Pierwsza służy do wyboru formatu (ratio):

Wybierzemy ten, który najlepiej pasuje do planowanej kompozycji.

Można go wybrać lub zmienić później, ale pamiętaj, że wygenerowany obraz ulegnie zmianie (w naszym przykładzie nurek). Czyli zmieni się nie tylko format: przy ponownym generowaniu obraz nie będzie identyczny i zmieni się w większym lub mniejszym stopniu, dlatego polecam wybrać go teraz.

Ja zostawię kwadratowy format, który jest bardzo uniwersalny.

Krok 4: wybór typu obrazu

Tuż pod formatem zaczynamy nadawać obrazowi pożądany ton.

Domyślnie, na podstawie promptu, Firefly interpretuje konotacje, jakie ma mieć obraz: na przykład "cyberpunk" z mojego przykładu ukierunkowuje rezultat.

Na początek zdecydujemy, czy potrzebujemy:

#1. Zdjęcie

Jak widzisz, nie zmienia to zbytnio oryginalnego stylu ("None").

#2. „Grafika”

To wersja ilustracyjna lub "cyfrowa" poprzedniego obrazu.

#3. Styl artystyczny.

W przeciwieństwie do poprzedniej ta ilustracja ma znacznie bardziej malarski lub artystyczny charakter. Bardziej "analogowy", jeśli wolisz.

Jak widzisz, coraz precyzyjniej określamy typ obrazu, którego chcemy. Ale poczekaj, jest tego znacznie więcej.

Krok 5: definiowanie stylu

W moim przypadku wybiorę fotografię, bo jak mówiłem na początku, szukam stylu fantastycznego realizmu, więc chcę, by obraz początkowy, baza, był realistyczny.

Teraz pora nadać mu fantastyczny ton, więc zróbmy trochę magii.

Najpierw kliknij przycisk "All", aby zobaczyć wszystkie możliwości, a jest ich niemało:

Masz różne "ruchy", "motywy", "techniki", "efekty", "materiały" i "koncepcje", którymi możesz się bawić.

I możesz je ze sobą łączyć.

Więc rób to.

Próbuj.

Eksperymentuj.

Baw się.

Tylko jedna rada: dodawaj poszczególne ustawienia po jednym, żeby móc sprawdzić wpływ każdego z nich na obraz.

To sposób na zachowanie pewnej kontroli, bo jeśli zastosujesz kilka naraz, nie będziesz wiedzieć, które nadało obrazowi efekt, który ci się podoba:

Ważne jednak, by wiedzieć, że style nadane obrazowi zostaną BARDZO mocno zmienione , jeśli używasz obrazu referencyjnego.

Oto rezultat użycia tego samego promptu i tych samych efektów bez obrazu referencyjnego:

Krok 6: kolor i ton, końcowy retusz

Nasz bohater jest już prawie gotowy, ale chcemy jeszcze dopracować obraz.

Do tego służy ostatnia sekcja panelu, w której pobawimy się kolorami, światłem i kompozycją (skąd wykonano ujęcie, typ obiektywu itd.):

Wskazówka:

Musisz wiedzieć, że te szczegóły, zwłaszcza kompozycja, będą miały większy wpływ na nasz obraz:

• Jeśli dodaliśmy prawdziwe tło, a nie jak w tym przykładzie, gdzie szukam neutralnego tła.
• I przede wszystkim, jeśli nie używamy obrazu referencyjnego, który usuwa wiele z tych niuansów.

Krok 7: pobieranie obrazu

Gdy mam już pożądany obraz, pozostaje tylko pobrać go stąd:

Ale ku mojemu zaskoczeniu po otwarciu widzę to:

Ohhhh.

Tyle czasu pracy, żeby uzyskać obraz, którego nie mogę użyć.

No świetnie.

Spokojnie, jest kilka rozwiązań. Za chwilę wyjaśnię jakie.

Najpierw jednak zobaczmy inne zastosowania, bo tam również spotkamy się z tym samym problemem.

Generative fill

Jeśli wrócimy na stronę główną Adobe Firefly i wybierzemy opcję Generative fill , będziemy mogli przesłać własny obraz (czego nie dało się zrobić przy generowaniu obrazów) albo pracować na którymś z proponowanych:

Przypadek użycia 1: usuwanie elementów z obrazu

Prześlę mojego nurka i wybiorę narzędzie remove:

Teraz pędzlem z dolnego paska narzędzi w trybie "Add" będę usuwał elementy, których nie chcę na obrazie:

Możliwe, że będę musiał powtórzyć tę operację kilka razy:

Aż w końcu otrzymamy coś przyzwoitego i użytecznego:

Nie przejmuj się czerwoną plamą w tle, za chwilę ją usuniemy.

Oczywiście osoby znające Photoshopa mają większe możliwości, ale dla tych, którzy go nie obsługują, ta funkcja będzie bardzo przydatna.

Bo choć w tym przypadku chcę usunąć znak wodny, z dowolnego zdjęcia z ostatnich wakacji mogę usunąć niechcianych "statystów".

Albo na jakimś selfie grupowym mogę być bardzo złośliwy i udawać, że ta osoba którejzabardzonielubię nigdy tam nie była.

Zostawiam cię z tą myślą.

Przypadek użycia 2: zmiana tła obrazu

Skoro znak wodny został usunięty tak, jak przed chwilą wyjaśniłem (więcej opcji później), klikam "background", aby usunąć tło:

No i mamy obraz bez tła:

A potem dodaję dowolne tło, wpisując prompt. Na przykład podwodne tło:

Umieszczam go w dżungli:

Albo w Nowym Jorku:

Not bad, co?

Tworzenie ilustracji od razu z tłem

Gdy znasz już te możliwości, muszę powiedzieć, że tak naprawdę o wieeele prościej byłoby utworzyć tło bezpośrednio w generatorze obrazów, na przykład jak w tych dwóch przykładach:

Prompt brzmi:

"Diver in a bright blue submarine suit, with a black diving suit covering his face completely, against a dark and terrifying background of the deep sea.".”

Wytłuszczenie pokazuje, jak wskazuję, że chcę tło obrazu.

Szybciej i łatwiej, więc zależnie od potrzeb wybiorę długą, ręczną metodę albo szybką, automatyczną.

Tworzenie ilustracji lub złożonej kompozycji

Możliwość usuwania tła lub dodawania innych przydaje się w różnych sytuacjach.

Jedną z nich jest potrzeba stworzenia złożonej kompozycji z różnymi elementami i tłami.

W naszym przykładzie wyobraź sobie, że chcę dodać jeszcze dwóch nurków po prawej lub lewej stronie bohatera i gigantyczną kałamarnicę z tyłu. Plus oczywiście morskie tło.

Wtedy musiałbym:

1. Stworzyć każdy element osobno w Firefly, jak widzieliśmy w poprzednim kroku.
2. Usunąć tło z każdego z nich, jak już widzieliśmy.
3. Stworzyć kompozycję w Photoshopie i zapisać.

Aby uzyskać coś takiego:

"Ilustracja", w której każdy zawodowy ilustrator bez trudu dostrzeże ogromne pole do poprawy.

Ale widziałem gorsze okładki gier wideo.

I co najważniejsze: powstała w mniej niż dziesięć minut.

Naprawdę.

Od zera.

Przynajmniej mnie zachwyca stosunek efekt / czas jest zachwycający..

Firefly pozwala nam wykonać dwa z trzech kroków -stworzyć wszystkie elementy profesjonalnej ilustracji / kompozycji i odseparować je od tła- BARDZO szybko.

Po raz pierwszy w historii naszą prawdziwą granicą jest kreatywność..

Nie nasze umiejętności projektowania czy retuszu.

Nie dostępny czas.

Nasza wyobraźnia. Po prostu.

Warianty kolorystyczne wektorów i efekty tekstowe

Firefly ma jeszcze dwie funkcje, których dotąd nie używałem.

Jedna z nich to tworzenie wariantów kolorystycznych ilustracji wektorowych..

Jej użycie znów jest bardzo proste: przesyłasz SVG i wpisujesz prompt albo korzystasz z panelu opcji:

Drugą dostępną funkcją jest tworzenie efektów tekstowych.

Przypuszczam, że kiedyś użyję jej do jakiegoś banera lub innego formatu, ale na razie mogę tylko powiedzieć, że aby jej użyć, wystarczy wpisać słowo lub tekst i wybrać efekt.:

Na tym kończymy przypadki użycia Firefly, ale słowo się rzekło…

Jak usunąć znak wodny Firefly

Zanim zaczniemy, muszę powtórzyć, że obrazy generowane w witrynie Adobe Firefly NIE mają licencji na użytek komercyjny.

Czy możemy mimo to ich używać? Tak, ale na własne ryzyko.

Poza tym musisz wiedzieć, że za każdym razem, gdy pobieramy obraz z platformy, w lewym dolnym rogu zostanie dodany ten znak wodny.

Dotyczy to zarówno obrazów tworzonych od zera, jak i użycia wypełniania generatywnego do usuwania czy zmiany tła.

Są jednak sposoby, by go uniknąć, jeśli chcemy używać obrazów komercyjnie.

Zacznijmy od najprostszego.

#1. Przez przycięcie obrazu

Oczywiste, prawda?

Pobieram cały obraz, a następnie przycinam go w Photoshopie lub podobnym programie tak, by znak wodny znalazł się poza kadrem:

Jeśli pamiętasz, w kroku 3 poradnika określaliśmy format. Wtedy wspomniałem, że przy jego wyborze trzeba uwzględnić dwa czynniki:

• Format, którego chcieliśmy dla obrazu.
• Znak wodny.

Jeśli na przykład chcemy kwadratowy obraz do posta na Instagramie, możemy wybrać format poziomy ("landscape" lub "widescreen"), a potem przyciąć go jak na powyższym obrazie.

Znak wodny pozostanie poza końcową kompozycją.

Powiększanie przyciętego obrazu

Jeśli po przycięciu obraz jest zbyt mały do naszych potrzeb, zawsze możemy skorzystać z Waifu , aby go powiększyć.

To narzędzie, którego stale używam do takich zadań, bo powiększa obraz dwukrotnie (lub czterokrotnie) przy znacznie mniejszej utracie jakości niż obecna konkurencja.

Do tego jest darmowe i bardzo proste w obsłudze:

1. Wybierz obraz.
2. Wybierz ustawienia.
3. Pobierz.

#2. Przez edycję obrazu

Być może najbardziej oczywisty sposób i pierwszy, który przychodzi do głowy.

Ale oczywiście w ramach tej techniki mamy kilka różnych podejść.

Za pomocą samego Firefly

Tak jak zrobiliśmy w poradniku wypełniania generatywnego z ramieniem nurka.

Najłatwiejszy sposób, choć nie zawsze możliwy do zastosowania.

Za pomocą Photoshopa (lub podobnego programu)

Jeśli umiesz edytować obrazy, być może od razu zaczniesz właśnie tutaj:

Kopiuj, wklej, stempel klonujący, wypełnianie z uwzględnieniem zawartości itd.

Oprócz naszego zwykłego arsenału subskrypcyjne wersje Photoshopa dodają generatywne wypełnianie Firefly, dzięki czemu mamy oba omawiane sposoby w jednym narzędziu.

Idealnie.

#3. Zrobić pełny lub częściowy zrzut ekranu

Przejdźmy do bardziej pomysłowych, ale bardzo prostych metod.

Gdy masz już obraz utworzony w Firefly, zamiast go pobierać i dostać znak wodny, możesz zrobić coś innego: zrobić pełny lub częściowy zrzut okna przeglądarki.

Po wykonaniu zrzutu możesz dopracować kadrowanie w Photoshopie lub podobnym programie, uzyskując dwie korzyści:

• Obraz uzyskany w ten sposób ma już sam w sobie wyższą rozdzielczość niż obraz pobrany.
• Dodatkowo możesz wykorzystać cały obraz bez znaku wodnego w rogu.

To jest zawsze bardzo przydatne, a jeszcze bardziej, jeśli masz monitor 4k, bo rozdzielczość zrzutu będzie ogromna i wystarczy nawet do projektów drukowanych (które wymagają większej rozdzielczości niż formaty cyfrowe).

#4. Inspektor elementów

Metoda podobna do poprzedniej, ale nieco mniej ręczna i bardziej techie..

Polega na tym, że po wygenerowaniu pożądanego obrazu zamiast robić zrzut ekranu wyszukujemy oryginalny plik obrazu w kodzie, aby zapisać go na naszym PC.

Najpierw otwieram inspektor prawym przyciskiem myszy w zacienionym obszarze obok obrazu, bo kliknięcie bezpośrednio na obrazie go nie otworzy (Adobe, co logiczne, chce nam trochę utrudnić życie):

Następnie trzeba znaleźć plik źródłowy obrazu. Przyda się odrobina znajomości HTML, ale to nic trudnego:

Klikam prawym przyciskiem ścieżkę obrazu w HTML i wybieram "otwórz w nowej karcie":

Obraz otworzy się w nowej karcie przeglądarki, w bardzo przyzwoitej rozdzielczości i bez znaku wodnego. Teraz mogę normalnie zapisać go na komputerze:

To ostatnia znana mi technika pobierania obrazów z Adobe Firefly bez znaku wodnego.

Jak widzisz, metody są różne i korzystam z jednej lub drugiej zależnie od konkretnej sytuacji. Przyzwyczaj się do wszystkich, a znak wodny już nigdy nie będzie dla ciebie problemem.

Po dokładnym omówieniu narzędzia możemy już wyciągnąć kilka wniosków. Ale najpierw…

Zalety korzystania z Adobe Firefly

W tym narzędziu widzę przede wszystkim trzy zalety w porównaniu z konkurencją.

Na początek jedną z najważniejszych jest to, że jest darmowe..

I bez limitu generowania czy pobierania. Przynajmniej na razie.

Nie żeby Midjourney było szczególnie drogie -wręcz przeciwnie- ale jeśli potrzebujesz obrazów tylko od czasu do czasu, to jednak trochę oszczędzasz.

Drugą zaletą jest dla mnie to, że jest potężne, a jednocześnie proste.

Czyli uzyskanie dobrych rezultatów jest stosunkowo łatwe, a panel boczny pomaga.

Inne narzędzia, takie jak Stable Diffusion, są wprawdzie bardzo potężne – zwłaszcza w najnowszych wersjach – ale mają bardziej stromą krzywą nauki. W Firefly dzięki prostym promptom i panelowi bocznemu uzyskujesz natomiast bardzo dobre wyniki od samego początku.

Ostatnią wyraźną zaletą jest to, że dzięki panelowi bocznemu można wygenerować własny styl obrazu. Jeśli zawsze używam tych samych stylów i efektów -kombinacji tworzącej obrazy o określonym charakterze- mogę zachować spójność w całym projekcie (obrazy na stronę, ilustracje lub materiały komunikacyjne dla klienta).

Wady Adobe Firefly

Ale oczywiście nie wszystko mogło być tu pozytywne.

Ta AI również ma słabe strony. I wcale nie są drobne:

Na początek platforma internetowa nie pozwala na użytek komercyjny wygenerowanych obrazów.

Możesz to zrobić, jasne, ale ryzykujesz karę. Więc sam zdecyduj.

W tym kontekście drugą komplikacją jest znak wodny dodawany do każdej pracy.

Wyjaśniłem sposoby, które znam, żeby ominąć ten problem, ale nadal jest to uciążliwe.

Kolejnym minusem jest to, że w wielu przypadkach nadal słabo radzi sobie z generowaniem twarzy i dłoni, tworząc obrazy ogólnie poprawne, lecz z tymi elementami zdeformowanymi. Jeśli tak się zdarzy, pozostaje zmienić prompt i się modlić.

Pod tym względem, choć jest potężne, uważam, że nadal pozostaje o mały krok za najnowszym modelem Midjourney, który oprócz ograniczenia deformacji palców i oczu generuje też obrazy o odrobinę lepszej jakości.

Jeśli porównamy je z tym narzędziem, zobaczymy, że Firefly brakuje pewnych funkcji, ponieważ nie potrafi:

• Generować interfejsów internetowych.
• Generować logotypów na przyzwoitym poziomie.
• Kopiować stylu uznanych artystów .
• Używać zewnętrznego obrazu jako referencji.

To wszystko bardzo przydatne funkcje, które Midjourney ma, a Firefly na razie nie.

Na koniec kilka drobniejszych szczegółów:

Zauważyłem, że Firefly nie potrafi rozpoznać niektórych złożonych pojęć , takich jak "monokl", w obrębie kompozycji. Nie chodzi przy tym o złożoność promptu: po zamianie tego słowa na "okulary" Firefly rozpoznaje je i wykorzystuje bez problemu.

Natrafiłem na kilka takich przypadków, a szukanie zamienników jest niewygodne albo po prostu nie ma alternatywy.

Co ciekawe, gdy te pojęcia wpisze się osobno, narzędzie potrafi ich użyć, więc zakładam, że to tylko kwestia czasu, aż zacznie je rozpoznawać.

Na koniec można dodać, że na razie możesz używać promptów tylko po angielsku.

Nie jest to problem wyłącznie Firefly, ale występuje, a jeśli chcemy korzystać ze złożonych promptów i słabo radzimy sobie z językiem Szekspira, trzeba sięgnąć po zewnętrzne translatory.

Końcowe wnioski

Po omówieniu podstawowych zastosowań narzędzia, jego zalet i wad dochodzę do wniosku, że jeśli te wady nie są problemem -a dla wielu nie będą- mamy do czynienia z naprawdę świetnym narzędziem.

Jednym z tych, które zmieniają reguły gry.

Oczywiście trzeba poczekać, aż Adobe wypuści komercyjną wersję dla użytkowników indywidualnych -opcja dla firm już istnieje- aby poznać cenę i ocenić, czy naprawdę warto, czy też płatna konkurencja (Midjourney) albo darmowa (Stable Diffusion) okaże się lepsza.

Na razie polecam zacząć się nim bawić, bo naprawdę może cię bardzo pozytywnie zaskoczyć.