ΠΠ°ΡΡΡΠΎΠΉΠΊΠ° Π±ΠΎΡΠΎΠ²
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
ΠΠ°Π΄Π°ΡΠΈ ΡΠ°Ρ-Π±ΠΎΡΠ°: Π‘Π΅ΡΠ΅Π²Π°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ°. ΠΠ»Π°ΡΡΠΎΡΠΌΠ°: Telegram. ΠΡΠΎΠ΄ΡΠΊΡ: ΠΡΠΎΡΡΠΎ. Π Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΠΏΡΠΈ ΠΏΠΎΠΏΡΡΠΊΠ΅ Π·Π°ΠΏΡΡΠΊΠ° Π±ΠΎΡΠ°, Π½Π° ΡΡΡΡΠΎΠΉΡΡΠ²Π°Ρ
ΠΎΠ½ Π·Π°ΠΏΡΡΠΊΠ°Π΅ΡΡΡ Π½Π΅ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎ, Π° ΡΠ°ΠΊ ΠΆΠ΅ ΠΎΡΠΎΠ±ΡΠ°ΠΆΠ°Π΅Ρ ΡΠ΅ΡΡΠΉ ΡΠΊΡΠ°Π½, Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ ΡΠ΅ΡΠ΅Π²ΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΡ Π²Π΅Π±-ΠΈΠ½ΡΠ΅ΡΡΠ΅ΠΉΡΠ°, ΠΏΡΠΎΡΡΠΎ ΡΡΠΎ Π±Ρ ΠΎΠ½ Π±ΡΠ» Π΄ΠΎΡΡΡΠΏΠ΅Π½ ΡΠ°ΠΌ ΠΏΡΠΎΠ΄-ΠΏΠΈΡΠ°ΡΡ Π½Π΅Ρ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ, ΠΏΡΠΎΡΡΠΎ Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΡ Π΄Π²ΡΡ
ΡΡΡΠ°Π½ΠΈΡΠ½ΠΎΠΉ HTML Ρ Π±ΡΡΡΡΡΠΌ ΠΎΡΠΊΠ»ΠΈΠΊΠΎΠΌ.
ΠΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΡ
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ
ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ. Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° Ρ Π½ΡΠ»Ρ. ΠΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅: Π΄Π»Ρ Android, Π΄Π»Ρ iOS. Π£ΡΡΡΠΎΠΉΡΡΠ²Π° Π΄Π»Ρ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΡ: ΡΠΌΠ°ΡΡΡΠΎΠ½Ρ, ΠΏΠ»Π°Π½ΡΠ΅ΡΡ. ΠΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΡΠΈΠΏΠ° ΡΠ°ΡΠ° ΠΈΠΈ Ρ ΠΏΠΎΠ΄ΠΊΠ»ΡΡΠ΅Π½Π½ΡΠΌΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΠΌΠΈ Π°ΠΏΠΈ Π²Π΅Π΄ΡΡΠΈΡ
ΠΈΠΈ ΠΈ ΡΠΏΠΎΡ ΠΌΠ΅ΠΆΠ΄Ρ Π½ΠΈΠΌΠΈ Π΄Π»Ρ Π²ΡΡΠ²Π»Π΅Π½ΠΈΡ Π±ΠΎΠ»Π΅Π΅ ΡΠΎΡΠ½ΠΎΠ³ΠΎ ΠΎΡΠ²Π΅ΡΠ°.
ΠΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΡ
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° ΠΈΠ³Ρ. Π‘Π΄Π΅Π»Π°ΡΡ ΠΏΡΠΎΠ΅ΠΊΡ ΠΏΠΎΠ΄ ΠΊΠ»ΡΡ, ΡΠ°Π·ΡΠ°Π±ΠΎΡΠ°ΡΡ ΠΈΠ³ΡΠΎΠ²ΡΡ ΠΌΠ΅Ρ
Π°Π½ΠΈΠΊΡ. ΠΠ³ΡΠ°: Π΄Π»Ρ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΡ
ΡΡΡΡΠΎΠΉΡΡΠ². ΠΠ³ΡΠ°: Π Π°Π·Π½ΡΠ΅. ΠΠ°Π½Ρ: ΡΡΡΠ΅Ρ. ΠΠ»Π°ΡΡΠΎΡΠΌΠ°: Unity. ΠΡΠ°ΡΠΈΠΊΠ°: 3D. ΠΡΡΡΡΠΎ ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎ ΠΌΡ Π΄ΠΎΠ»ΠΆΠ½Ρ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ Π΄ΡΡΠ³ Π΄ΡΡΠ³Π°.
ΠΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΡ
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ Π΄Π»Ρ ΠΠ. Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° Ρ Π½ΡΠ»Ρ, ΡΠ΅ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, Π½Π°ΡΡΡΠΎΠΉΠΊΠ°. ΠΠΎΠΆΠ΅Π»Π°Π½ΠΈΡ ΠΈ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ: Π ΡΡΡΠΊΠΈΠΉ ΡΠ·ΡΠΊ, Π΄ΠΎΡΡΡΠΏΠ½ΠΎΡΡΡ Ρ 10 Π΄ΠΎ 00:00, Π΅ΡΠ»ΠΈ ΠΊΡΠΎΠΌΠ΅ ΠΌΠΎΠ΅Π³ΠΎ ΠΏΡΠΎΠ΅ΠΊΡΠ° Π΅ΡΠ΅ Π΄Π΅ΡΡΡΠΎΠΊ ΡΠΎ ΠΏΡΠΎΡ
ΠΎΠ΄ΠΈ ΠΌΠΈΠΌΠΎ.
Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° Π±ΠΎΡΠΎΠ² Telegram
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
ΠΠ°Π΄Π°ΡΠΈ ΡΠ°Ρ-Π±ΠΎΡΠ°: ΠΈΠ½ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΊΠ»ΠΈΠ΅Π½ΡΠΎΠ², ΡΠ±ΠΎΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ. ΠΡΠΎΠ΄ΡΠΊΡ: ΠΠ»Ρ ΡΠ΅Π±Ρ. Π’Π΅Ρ
Π·Π°Π΄Π°Π½ΠΈΠ΅ Π΅ΡΡΡ.
Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° ΠΠ
Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎ
Π΄ΠΎΠ³ΠΎΠ²ΠΎΡΠ½Π°Ρ
ΠΠΎΠΆΠ΅Π»Π°Π½ΠΈΡ ΠΈ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ: ΠΠ΄ΡΠ°Π²ΡΡΠ²ΡΠΉΡΠ΅. ΠΡΡ ΡΠ΅ΠΏΠ΅ΡΠΈΡΠΎΡΠ° ΠΏΠΎ deep learning ΠΈ NLP Π΄Π»Ρ ΡΠΈΡΡΠ΅ΠΌΠ½ΠΎΠΉ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΊΠΈ ΠΏΠΎΠ΄ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΡ ΡΠ΅Π»Ρ. Π‘ΡΠ°Π·Ρ Π²Π°ΠΆΠ½ΠΎΠ΅. ΠΠ±ΡΠΈΠΉ ΠΊΡΡΡ ΠΏΠΎ Data Science ΠΌΠ½Π΅ Π½Π΅ Π½ΡΠΆΠ΅Π½. ΠΡΠΆΠ½Π° Π³Π»ΡΠ±ΠΈΠ½Π° Π² ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°Ρ
, ΠΎΠ±ΡΡΠ΅Π½ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠ΅ ΠΏΠΎΠ΄ Π½ΠΈΠΌΠΈ. Π ΡΠ΅Π±Π΅. Π‘ΡΡΠ΄Π΅Π½Ρ Π ΠΠ£ ΠΈΠΌ. ΠΠ»Π΅Ρ
Π°Π½ΠΎΠ²Π°, Π²ΡΠΏΡΡΠΊ 2027. Π Π°Π±ΠΎΡΠ°Ρ AI-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠΎΠΌ Π½Π° ΡΡΠ°ΠΆΠΈΡΠΎΠ²ΠΊΠ΅, Π·Π°Π½ΠΈΠΌΠ°ΡΡΡ LLM-Π°Π³Π΅Π½ΡΠ°ΠΌΠΈ, RAG ΠΈ Π΄ΠΎΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠΎΠ². ΠΠ· ΠΏΡΠΎΠ΅ΠΊΡΠΎΠ² β Π°Π³Π΅Π½Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ Π±Π°Π½ΠΊΠ° Π½Π° RuBERT Ρ RAG Π½Π° pgvector, ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠΉ BPE-ΡΠΎΠΊΠ΅Π½ΠΈΠ·Π°ΡΠΎΡ ΠΈ pretrain ΠΌΠΈΠ½ΠΈ-Llama Ρ Π½ΡΠ»Ρ Π½Π° ΡΡΡΡΠΊΠΎΠΌ ΠΊΠΎΡΠΏΡΡΠ΅, SFT ΠΏΠΎΠ²Π΅ΡΡ
Qwen, Π°Π³Π΅Π½ΡΡΠΊΠ°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Ρ Ρ
Π°ΠΊΠ°ΡΠΎΠ½Π° ΠΠ’Π‘ Π½Π° Π»ΠΎΠΊΠ°Π»ΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠΡΡ Π»Π΅ΠΆΠΈΡ Π½Π° github.com/ahiokk, Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΌ README ΠΌΠ΅ΡΡΠΈΠΊΠΈ ΠΈ ΡΠ°Π·Π±ΠΎΡ Π³ΡΠ°Π±Π»Π΅ΠΉ. ΠΡΠΎΡΡ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ Π΄ΠΎ ΠΏΠ΅ΡΠ²ΠΎΠΉ Π²ΡΡΡΠ΅ΡΠΈ, ΡΠ°ΠΊ ΡΡΠΎΠ²Π΅Π½Ρ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ½ΡΡΠ½Π΅Π΅. ΠΠ΄Π΅ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ°. ΠΡΠ°ΠΊΡΠΈΠΊΠ° ΡΡΠ»Π° ΡΠΈΠ»ΡΠ½ΠΎ Π²ΠΏΠ΅ΡΡΠ΄ ΡΠ΅ΠΎΡΠΈΠΈ. Π― ΡΠΌΠ΅Ρ ΡΠΎΠ±ΡΠ°ΡΡ ΠΈ ΠΎΠ±ΡΡΠΈΡΡ, Π½ΠΎ ΠΏΠ»ΠΎΡ
ΠΎ ΠΎΠ±ΡΡΡΠ½ΡΡ, ΠΏΠΎΡΠ΅ΠΌΡ ΠΎΠ½ΠΎ ΡΡΡΡΠΎΠ΅Π½ΠΎ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠ°ΠΊ, ΠΈ ΡΠ°ΡΡΠΎ ΠΏΠΎΠ΄Π±ΠΈΡΠ°Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΠΏΠΎ ΡΡΠΉΠΊΠ΅, Π° Π½Π΅ ΠΏΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΡ. Π§ΡΠΎ Ρ
ΠΎΡΡ Π·Π°ΠΊΡΡΡΡ. (ΠΡΠΈΠΌΠ΅ΡΡ) 1. ΠΡΡ
ΠΈΡΠ΅ΠΊΡΡΡΠ° ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ° ΡΠ΅Π»ΠΈΠΊΠΎΠΌ. Attention ΠΈ multi-head, ΠΏΠΎΠ·ΠΈΡΠΈΠΎΠ½Π½ΡΠ΅ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ, KV-ΠΊΡΡ, Π·Π°ΡΠ΅ΠΌ Π² ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
LLM SwiGLU Π²ΠΌΠ΅ΡΡΠΎ ReLU ΠΈ RMSNorm Π²ΠΌΠ΅ΡΡΠΎ LayerNorm. 2. ΠΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΠΈ ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎΡΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ. BatchNorm ΠΏΡΠΎΡΠΈΠ² LayerNorm, pre-norm ΠΈ post-norm, ΡΡΠΎ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ Π½Π° ΠΈΠ½ΡΠ΅ΡΠ΅Π½ΡΠ΅. 3. ΠΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ. ΠΡΠ°Π΄ΠΈΠ΅Π½ΡΡ ΠΈ ΠΈΡ
Π·Π°ΡΡΡ
Π°Π½ΠΈΠ΅, learning rate ΠΈ ΡΠ°Π·ΠΎΠ³ΡΠ΅Π², ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π²Π΅ΡΠΎΠ², ΡΠΌΠ΅ΡΠ°Π½Π½Π°Ρ ΡΠΎΡΠ½ΠΎΡΡΡ. 4. ΠΠΎΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅. ΠΠΎΠ»Π½ΡΠΉ ΡΠ°ΠΉΠ½ΡΡΠ½ ΠΏΡΠΎΡΠΈΠ² LoRA, ΡΡΠΎ ΡΠ΅Π°Π»ΡΠ½ΠΎ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ Ρ Π²Π΅ΡΠ°ΠΌΠΈ, ΠΊΠ°ΠΊ Π²ΡΠ±ΠΈΡΠ°ΡΡ ΡΠ°Π½Π³ ΠΈ alpha, ΠΊΠ°ΡΠ°ΡΡΡΠΎΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ Π·Π°Π±ΡΠ²Π°Π½ΠΈΠ΅. 5. ΠΠ°ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠ° ΠΏΠΎΠ΄ Π²ΡΡ ΡΡΠΎ. ΠΠΈΠ½Π°Π», ΠΌΠ°ΡΠ°Π½ ΠΈ ΡΠ΅ΠΎΡΠ²Π΅Ρ Π² ΡΠΎΠΌ ΠΎΠ±ΡΡΠΌΠ΅, ΡΡΠΎΠ±Ρ Π²ΡΠ²ΠΎΠ΄ΠΈΡΡ, Π° Π½Π΅ Π·Π°ΠΏΠΎΠΌΠΈΠ½Π°ΡΡ. Π‘ΠΏΠΈΡΠΎΠΊ Π½Π΅ ΡΠΈΠ½Π°Π»ΡΠ½ΡΠΉ. Π§Π°ΡΡΡ ΠΏΡΠΎΠ±Π΅Π»ΠΎΠ² Ρ, ΡΠΊΠΎΡΠ΅Π΅ Π²ΡΠ΅Π³ΠΎ, ΡΠ°ΠΌ Π½Π΅ Π²ΠΈΠΆΡ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΈ ΠΏΡΠΎΡΡ Π²Π½Π΅ΡΠ½ΡΡ ΠΎΡΠ΅Π½ΠΊΡ. Π§ΡΠΎ Ρ
ΠΎΡΡ ΠΎΡ Π²Π°Ρ. Π‘Π½Π°ΡΠ°Π»Π° Π΄ΠΈΠ°Π³Π½ΠΎΡΡΠΈΠΊΡ. ΠΡΠΎΠ³ΠΎΠ½ΠΈΡΠ΅ ΠΌΠ΅Π½Ρ ΠΏΠΎ Π±Π°Π·Π΅ ΠΈ ΡΠΊΠ°ΠΆΠΈΡΠ΅ ΠΏΡΡΠΌΠΎ, Π³Π΄Π΅ ΡΡΠΎΠ²Π΅Π½Ρ ΠΏΡΠΎΡΠ΅Π΄Π°Π΅Ρ. ΠΠ°Π»ΡΡΠ΅ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΠΏΠΎΠ΄ ΡΠ΅Π»Ρ, Ρ Π΄ΠΎΠΌΠ°ΡΠΊΠ°ΠΌΠΈ ΠΈ ΡΠΏΡΠΎΡΠΎΠΌ Π·Π° Π½ΠΈΡ
. ΠΡΡΡΠΊΠΈΠΉ ΡΠΎΡΠΌΠ°Ρ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ΠΈΡ, ΠΊ Π½Π°Π³ΡΡΠ·ΠΊΠ΅ Π³ΠΎΡΠΎΠ²! Π¦Π΅Π»Ρ. ΠΠΎΠ·ΠΈΡΠΈΡ junior ΠΈΠ»ΠΈ middle AI-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ° Π² Π‘Π±Π΅ΡΠ΅, Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ NLP ΠΈ LLM. ΠΡΠΈΠ΅Π½ΡΠΈΡΡΡΡΡ Π·Π° 10 ΠΌΠ΅ΡΡΡΠ΅Π². ΠΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΡ. ΠΠ½Π»Π°ΠΉΠ½, 1-2 ΡΠ°Π·Π° Π² Π½Π΅Π΄Π΅Π»Ρ ΠΏΠΎ 1-2 ΡΠ°ΡΠ°. ΠΠ°ΠΏΠΈΡΠΈΡΠ΅, ΠΏΠΎΠΆΠ°Π»ΡΠΉΡΡΠ°, Π΅ΡΡΡ Π»ΠΈ Ρ Π²Π°Ρ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠΉ ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°ΠΌΠΈ ΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΡΡΠΎΠΈΠΌΠΎΡΡΡ Π·Π°Π½ΡΡΠΈΡ, Π½Π°Π»ΠΈΡΠΈΠ΅ ΡΠ»ΠΎΡΠΎΠ² ΠΈ ΠΊΠ°ΠΊ ΠΏΡΠΎΡ
ΠΎΠ΄ΠΈΡ ΠΏΠ΅ΡΠ²ΠΎΠ΅ Π·Π°Π½ΡΡΠΈΠ΅.