gemma-4-31b-it vllm FP8+int4 3종 비교 (AutoRound, AWQ cyanwiki, AWQ QuantTrio)gemma-4-31b-it 가 마음에 들어서 계속 써보다 보니,그나마 괜찮은 양자화 모델을 써보고 싶어서 이것저것 받아 테스트 해봤습니다.테스트 모델RedHatAI/gemma-4-31B-it-FP8-blockQuantTrio/gemma-4-31B-it-AWQIntel/gemma-4-31B-it-int4-AutoRoundcyankiwi/gemma-4-31B-it-AWQ-4bitFP8-block 은 per-channel이나 per-tensor scale을 사용하는 FP8-Dynamic과 달리 블록스케일을 사용합니다.기본 블록은 128x128이네요. 아무래도 FP8-Dynami..

GPT-4.5의 기술적 혁신과 적용 가능성: 감성적 인공지능의 새로운 지평2025년 2월 28일 공개된 안될공학 채널의 분석에 따르면, GPT-4.5는 기존 인공지능 모델과 차별화된 문과적 감성을 구현한 혁신적인 모델로 등장했습니다. 감성적 대화 구현을 위해 강화된 인간 피드백 기반 강화학습(RLHF)과 정렬 기술을 도입했으며, 체인-오브-쏘트(Chain-of-Thought) 방식을 최적화하여 자연스러운 대화 흐름을 유지하면서도 창의적인 글쓰기 능력을 극대화했습니다. 이 모델은 단순한 언어 처리 능력을 넘어 인간의 정서를 이해하고 공감하는 수준까지 발전했으며, 특히 고객 지원 서비스와 감성 상담 분야에서 혁신적인 변화를 예고하고 있습니다. 다만 에너지 효율성과 API 운영 비용 문제가 주요 과제로 지목되..

인공지능과 인간의 공존: 미래 사회를 위한 전략과 전망인공지능(AI) 기술의 급속한 발전은 인간 사회에 혁명적인 변화를 가져오고 있습니다. 2025년 현재, AI는 단순한 도구를 넘어 인간의 일상생활, 경제 시스템, 사회 구조 전반에 깊이 스며들며 새로운 패러다임을 형성하고 있습니다. 그러나 이러한 변화는 단순한 기술 진보를 넘어, 인간과 기계의 관계를 근본적으로 재정의하는 도전을 야기하고 있습니다. 본고는 AI와 인간의 공존 가능성을 다양한 각도에서 분석하고, 지속 가능한 협력 관계 구축을 위한 전략을 제시합니다.인공지능 기술 발전의 사회적 영향생산성 혁명과 경제 구조 변화AI 기술은 전 산업 분야에서 생산성 증대 효과를 발휘하고 있습니다. 제조업에서는 예측 정비 시스템이 장비 고장을 72시간 전에 예..

Flappy-Bird-AI 이 게임은 별다른 사용자가 별다른 조작을 하지 않아도 AI로 최적의 경로를 찾습니다. 위 아래 기둥이 랜덤 생성이 되며 수 많은 실패를 통해 최적의 경로를 찾는 방법입니다. 인공 신경망을 통해 경로를 찾으며 유전 알고리즘으로 다음 새에게 방법을 유전을 내려줍니다. 최고 점수에 도달한 새 유전 정보는 메모리에 저장되고 버튼을 누르면 다시 로드하는 방식으로 진행됩니다. 최고 점수를 자랑해주세요. 유전 알고리즘 유전 알고리즘(Genetic Algorithm)은 자연세계의 진화과정에 기초한 계산 모델로서 존 홀랜드(John Holland)에 의해서 1975년에 개발된 전역 최적화 기법으로, 최적화 문제를 해결하는 기법의 하나이다. 생물의 진화를 모방한 진화 연산의 대표적인 기법으로, ..

비쿠나: UC 버클리, CMU, 스탠포드 및 UC 샌디에이고 출신의 팀원으로 구성된 팀 GPT-4를 사용한 재미 있고 비 과학적인 평가에 따르면. 더 엄격한 평가가 필요합니다. ShareGPT에서 수집한 사용자 공유 대화에서 LLaMA를 미세 조정하여 훈련된 오픈 소스 챗봇인 Vicuna-13B를 소개합니다. GPT-4를 심사위원으로 사용한 예비 평가에 따르면 Vicuna-13B는 OpenAI ChatGPT 및 Google Bard의 90%* 이상의 품질을 달성하는 반면 LLaMA 및 Stanford Alfaca와 같은 다른 모델은 90%* 이상의 사례에서 능가하는 것으로 나타났습니다. Vicuna-13B 훈련 비용은 약 $ 300입니다. 교육 및 제공 코드는 온라인 데모와 함께 비상업적 용도로 공개적으..