ຂະຫຍາຍ / Cerebras Andromeda, 13.5 ລ້ານ core supercomputer AI.

ໃນວັນຈັນ, Cerebras Systems ໄດ້ເປີດເຜີຍ 13.5 ລ້ານ core Andromeda AI supercomputer ຂອງຕົນສໍາລັບການຮຽນຮູ້ເລິກ, Reuters ລາຍງານ. ອີງຕາມການ Cerebras, Andromeda ສະຫນອງຫຼາຍກວ່າຫນຶ່ງ exaflop (1 quintillion ການດໍາເນີນງານຕໍ່ວິນາທີ) ຂອງພະລັງງານຄອມພິວເຕີ້ AI ຢູ່ທີ່ຄວາມແມ່ນຍໍາເຄິ່ງ 16-bit.

Andromeda ແມ່ນຕົວຂອງມັນເອງເປັນກຸ່ມຂອງ 16 Cerebras C-2 ຄອມພິວເຕີທີ່ເຊື່ອມຕໍ່ກັນ. ແຕ່ລະ CS-2 ປະກອບດ້ວຍຊິບ Wafer Scale Engine ຫນຶ່ງ (ມັກເອີ້ນວ່າ “WSE-2”), ເຊິ່ງປະຈຸບັນເປັນຊິບຊິລິຄອນທີ່ໃຫຍ່ທີ່ສຸດທີ່ເຄີຍເຮັດ, ຢູ່ທີ່ປະມານ 8.5-inch square ແລະບັນຈຸດ້ວຍ 2.6 ພັນຕື້ transistors ຈັດເປັນ 850,000 cores.

Cerebras ສ້າງ Andromeda ຢູ່ສູນຂໍ້ມູນໃນ Santa Clara, California, ໃນລາຄາ 35 ລ້ານໂດລາສະຫະລັດ. ມັນຖືກປັບແຕ່ງສໍາລັບແອັບພລິເຄຊັນຕ່າງໆເຊັ່ນຕົວແບບພາສາຂະຫນາດໃຫຍ່ແລະໄດ້ຖືກນໍາໃຊ້ແລ້ວສໍາລັບການເຮັດວຽກທາງວິຊາການແລະການຄ້າ. Cerebras ຂຽນໃນຖະແຫຼງການຂ່າວວ່າ “Andromeda ສະຫນອງການຂະຫຍາຍທີ່ໃກ້ຄຽງທີ່ສົມບູນແບບໂດຍຜ່ານຂໍ້ມູນຂະຫນານກັນແບບງ່າຍດາຍໃນທົ່ວຮູບແບບພາສາຂະຫນາດໃຫຍ່ຂອງ GPT, ລວມທັງ GPT-3, GPT-J ແລະ GPT-NeoX,” ຂຽນ Cerebras ໃນການປ່ອຍຂ່າວ.

ຊິບ Cerebras WSL2 ແມ່ນປະມານ 8.5 ນິ້ວສີ່ຫຼ່ຽມມົນທົນ ແລະບັນຈຸ 2.6 ພັນຕື້ transistors.
ຂະຫຍາຍ / ຊິບ Cerebras WSL2 ແມ່ນປະມານ 8.5 ນິ້ວສີ່ຫຼ່ຽມມົນທົນ ແລະບັນຈຸ 2.6 ພັນຕື້ transistors.

ເຊເຣບຣາ

ຄໍາວ່າ “ການປັບຂະຫນາດທີ່ໃກ້ຊິດ” ຫມາຍຄວາມວ່າຍ້ອນວ່າ Cerebras ເພີ່ມຫນ່ວຍງານຄອມພິວເຕີ CS-2 ໃຫ້ກັບ Andromeda, ເວລາການຝຶກອົບຮົມໃນເຄືອຂ່າຍ neural ແມ່ນຫຼຸດລົງໃນ “ເກືອບອັດຕາສ່ວນທີ່ສົມບູນແບບ”, ອີງຕາມ Cerebras. ໂດຍປົກກະຕິ, ເພື່ອຂະຫຍາຍຮູບແບບການຮຽນຮູ້ທີ່ເລິກເຊິ່ງໂດຍການເພີ່ມພະລັງງານຄອມພິວເຕີ້ໂດຍໃຊ້ລະບົບ GPU, ຄົນເຮົາອາດຈະເຫັນຜົນຕອບແທນຫຼຸດລົງຍ້ອນວ່າຄ່າໃຊ້ຈ່າຍໃນຮາດແວເພີ່ມຂຶ້ນ. ນອກຈາກນັ້ນ, Cerebras ອ້າງວ່າ supercomputer ຂອງຕົນສາມາດປະຕິບັດວຽກງານທີ່ລະບົບ GPU ບໍ່ສາມາດເຮັດໄດ້:

ການເຮັດວຽກທີ່ເປັນໄປບໍ່ໄດ້ GPU ໄດ້ຖືກສະແດງໃຫ້ເຫັນໂດຍຫນຶ່ງໃນຜູ້ໃຊ້ທໍາອິດຂອງ Andromeda, ຜູ້ທີ່ບັນລຸໄດ້ໃກ້ກັບຂະຫນາດທີ່ສົມບູນແບບໃນ GPT-J ທີ່ 2.5 ຕື້ແລະ 25 ຕື້ພາລາມິເຕີທີ່ມີຄວາມຍາວລໍາດັບຍາວ – MSL ຂອງ 10,240. ຜູ້ໃຊ້ໄດ້ພະຍາຍາມເຮັດວຽກດຽວກັນກັບ Polaris, ກຸ່ມ 2,000 Nvidia A100, ແລະ GPUs ບໍ່ສາມາດເຮັດວຽກໄດ້ເນື່ອງຈາກຄວາມຈໍາ GPU ແລະຄວາມຈໍາກັດແບນວິດຂອງຫນ່ວຍຄວາມຈໍາ.”

ບໍ່ວ່າຄໍາຮຽກຮ້ອງເຫຼົ່ານັ້ນມີການກວດສອບພາຍນອກແມ່ນຍັງບໍ່ທັນເຫັນ, ແຕ່ໃນຍຸກທີ່ບໍລິສັດມັກຈະຝຶກອົບຮົມແບບຈໍາລອງການຮຽນຮູ້ເລິກເຊິ່ງກ່ຽວກັບກຸ່ມ Nvidia GPUs ຂະຫນາດໃຫຍ່ທີ່ເພີ່ມຂຶ້ນ, Cerebras ເບິ່ງຄືວ່າຈະສະເຫນີວິທີການທາງເລືອກ.

Andromeda ຕ້ານກັບ supercomputer ອື່ນໆແນວໃດ? ໃນປັດຈຸບັນ, Frontier ທີ່ໄວທີ່ສຸດໃນໂລກ, ອາໄສຢູ່ Oak Ridge National Labs ແລະສາມາດປະຕິບັດໄດ້ 1,103 exaflops ຢູ່ທີ່ 64-bit double precision. ຄອມ​ພິວ​ເຕີ​ນັ້ນ​ມີ​ມູນ​ຄ່າ 600 ລ້ານ​ໂດ​ລາ​ເພື່ອ​ສ້າງ.

ການເຂົ້າເຖິງ Andromeda ໃນປັດຈຸບັນສາມາດໃຊ້ໄດ້ສໍາລັບຜູ້ໃຊ້ຫຼາຍຄົນຈາກໄລຍະໄກ. ມັນໄດ້ຖືກໃຊ້ແລ້ວໂດຍຜູ້ຊ່ວຍການຂຽນການຄ້າ JasperAI ແລະຫ້ອງທົດລອງແຫ່ງຊາດ Argonne, ແລະມະຫາວິທະຍາໄລ Cambridge ສໍາລັບການຄົ້ນຄວ້າ.

Categories: AiHome

0 Comments

Leave a Reply

Avatar placeholder

Your email address will not be published. Required fields are marked *