Új hozzászólás Aktív témák

• #13 ddekany veterán winhate #12

  Új Válasz 2024-04-20 23:48:26 #13

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz winhate #12 üzenetére

  Egyrészt egyenlőre valószínűleg tréningre kell, ami sokkal többet kér (és az otthon messze nem reális, nyilván).

  Másrészt, szélesebb alkalmazásra jó modellek egyenlőre nincsenek, egy Claude 3 Opus is (aminek futtatásához messze kevés egy otthonigép) rendesen "hallucinál". Így nem tudjuk mekkorák lesznek, mire tényleg jók lesznek. Plusz, a fejlődés várható iránya, hogy az LLM-nek iterálni kell a válaszon, mielőtt kiírná neked (most ugye fix számú rétegen átfolyik, és rögtön kiírja neked a következő tokent), és úgy már sokkal de sokkal lassabb lesz, tehát gyorsabb vas kell alá. (Mondom ezt azzal együtt, hogy LLaMa 3 8B-t pont tegnap próbálgattam saját gépen, és érzetre már az 1 évvel ezelőtti felzúdulást kirobbantó kb. 200B-s ChatGPT 3.5 szintje.)

Új hozzászólás Aktív témák