Meta přichází s AI nástrojem pro segmentaci objektů z fotografií. Pro všechny a zdarma
Nové AI nástroje se objevují téměř denně, ale rozhodně se vyplatí zbystřit, když s ním přijde technologický gigant s dosahem k miliardám uživatelů. Tím rozhodně Meta je a nyní přichází s AI nástrojem řešící úkol, který již zvládá řada jiných nástrojů. Přidanou hodnotou nástroje SAM je ovšem to, že segmentaci objektů z fotografií zvládá neobvykle dobře. Navíc na rozdíl od mnoha dalších nástrojů zatím zdarma bez velkých omezení.
Jmenuje se SAM, méně familiárně Segment Anything Model. Například Adobe Photoshop umí vyřezávat objekty z fotografií již hodně dlouho, z nedávno vzniklých AI nástrojů se stejným unitárním posláním se nám osvědčil například Remove.bg. Zdá se ovšem, že SAM má navrch. Mnoho nástrojů totiž dokáže přesně izolovat především objekty s nekomplikovaným pozadím. Člověka s „nedivokým účesem“ od bílého pozadí dokáže spolehlivě izolovat ledasco. SAM má vyšší ambice i schopnosti.
Today we're releasing the Segment Anything Model (SAM) — a step toward the first foundation model for image segmentation.
— Meta AI (@MetaAI) April 5, 2023
SAM is capable of one-click segmentation of any object from any photo or video + zero-shot transfer to other segmentation tasks https://t.co/qYUoePrWVi pic.twitter.com/zX4Rxb5Yfo
Níže můžete vidět snímek z vánočních trhů a pod ním objekty, které na něm dokáže SAM nalézt a izolovat.
Meta dokáže i poměrně bezpečně identifikovat lanový most s mrakodrapy v podobné barevnosti v pozadí.
My jsme ho vyzkoušeli třeba na schopnosti segmentace objektů z na postavy neuvěřitelně bohatých obrazů Hieronýma Bosche.
Na svém blogu Meta vysvětluje, proč je SAM tak schopný:
„Jádrem projektu Segment Anything je snížení potřeby expertízy pro modelování specifických úloh, tréninkových výpočtů a vlastních anotací dat pro segmentaci obrazu. Pro realizaci této vize bylo naším cílem vytvořit základní model pro segmentaci obrazu: model s možností promptů, který je vycvičen na různých datech a který se může přizpůsobit konkrétním úlohám, obdobně jako se prompty používají v modelech pro zpracování přirozeného jazyka. Segmentační data potřebná k trénování takového modelu však nejsou snadno dostupná na internetu ani jinde, na rozdíl od obrázků, videí a textů, kterých je na internetu dostatek. V projektu Segment Anything jsme si tedy dali za cíl současně vyvinout obecný segmentační model s možností zadávání promptů a použít jej k vytvoření souboru segmentačních dat nebývalého rozsahu.
SAM se naučil obecnou představu o tom, co jsou objekty, a dokáže generovat masky pro jakýkoli objekt na jakémkoli obrázku nebo videu, a to i pro objekty a typy obrázků, se kterými se během tréninku nesetkal. Systém SAM je dostatečně obecný na to, aby pokryl širokou sadu případů použití, a lze jej použít ihned na nové obrazové „domény" — ať už jde o fotografie pod vodou nebo buněčnou mikroskopii — aniž by vyžadoval další školení.“
Tato schopnost se nazývá zero-shot transfer. SAM je natrénovaný na milionech snímků, a díky tomu pozná dosud neviděné objekty. V citaci výše se objevuje slovo „prompt“ a je tím myšleno textové zadání, které známe z AI generativních modelů. Tato schopnost není v demu dostupná, ale je pravděpodobné, že v budoucnu bude možné úkolovat SAMa i slovem (ve stylu: „Vyřízni postavu paní se žlutou bundou.“).
Meta má nicméně ještě odvážnější plány. „V budoucnu by SAM mohl být využit pro aplikace v mnoha oblastech, které vyžadují vyhledání a segmentaci libovolného objektu v libovolném obrázku. Pro výzkumnou komunitu v oblasti umělé inteligence a další subjekty by se SAM mohl stát součástí rozsáhlejších systémů umělé inteligence pro obecnější multimodální porozumění světu, například pro porozumění vizuálnímu i textovému obsahu webové stránky. V oblasti AR/VR by SAM mohl umožnit výběr objektu na základě pohledu uživatele a jeho následné „zvednutí" do 3D. Pro tvůrce obsahu může SAM zlepšit kreativní aplikace, jako je extrakce obrazových oblastí pro koláže nebo střih videa. Systém SAM by mohl být také využit k vědeckému studiu přírodních jevů na Zemi nebo dokonce ve vesmíru, například k lokalizaci zvířat nebo objektů, které je třeba studovat a sledovat na videu. Věříme, že možnosti jsou široké, a jsme nadšeni mnoha potenciálními případy použití, které jsme si zatím ani nedokázali představit,“ neklade si autor článku na blogu SAM mnoho omezení.
Pro běžného uživatele to může znamenat rychlejší práci se segmentaci objektů z fotografií s možností využití i při vyšších rozlišení zdarma. A poměrně slušnou naději, že u giganta typu Meta tato služba gratis zůstane, i kdyby tomu tak časem mělo být jen v jeho dalších aplikacích typu Instagramu.
SAM si vyzkoušejte ZDE.
