ETC 7

M4 Pro With 24GB RAM으로 LLM 실행하기

M4 ProModel Name: MacBook ProChip: Apple M4 ProMemory: 24 GB12코어 CPU(성능 코어 8개 및 효율 코어 4개)16코어 GPU하드웨어 가속형 레이 트레이싱16코어 Neural Engine273GB/s 메모리 대역폭 요즘 LLM에 관심이 많아서 여러 모로 찾아보며 공부하고 있다. 나는 2070 super를 탑재한 데스크탑을 직접 조립해서 사용하고 있지만 이 사양으로는 LLM을 돌리기엔 택도 없다...그래서 위와 같은 사양의 맥북 프로를 앞으로 학습과 여러 테스트에 이용할 생각이다! 가장 처음엔 로컬 환경에서 LLM을 실행시켜보도록 하겠다. 시스템 요구사항대규모 언어 모델을 로컬에서 실행시키려면 그만한 시스템 사양을 갖춰야 한다. 원래 일반 PC에서는 4090..

Cline - AI 에이전트

AI 에이전트에 대해취미가 여러 가지 있는데 요즘은 AI 에이전트에 대해 찾아보고 관련한 여러 기술을 다뤄보는 걸 하고 있다. 이런저런 정보를 찾아보고 있었는데 DEVIN에 대해 다룬 글을 우연히 보게 됐다. 결론만 말하자면 구매 가능한 기본 크레딧이 500달러부터 시작인데 시니어 개발자 수준의 업무는 아직 완벽하지 않다고 한다. 심지어 작업을 얼마 돌리지도 않았는데 그 크레딧도 순삭되더라.. 어쨌든 비교 대상에 GPT와 Cline이 있었다. 그 중 Cline이 작업 중에 생긴 API 요금이 가장 적었다. 적은 비용으로 효율적인 작업을 한다는 내용을 보고 궁금해졌다. 직접 내 눈으로 확인해보자 싶었다. Cline ai?먼저 Cline ai에 대해 알아보자. Cline은 Visual Studio Code에..

Cloudflare Pages 대역폭 무제한..?

Cloudflare Pages: 개발자를 위한 궁극의 무료 호스팅 솔루션최근 몇 년간 신뢰할 수 있고 빠르며 비용 효율적인 호스팅 솔루션에 대한 수요가 폭발적으로 증가하고 있다. 과거에는 전통적인 호스팅 서비스가 선결제 비용을 요구했으나, GitHub Pages, GitLab Pages, Netlify, Cloudflare Pages와 같은 제공업체들이 관대한 무료 요금제를 도입하면서 이 환경이 크게 변화했다. 이들 중 Cloudflare Pages는 특히 뛰어난 무료 요금제를 제공하며 개발자들에게 탁월한 혜택을 제공하고 있다.Cloudflare Pages를 선택해야 하는 이유Cloudflare Pages는 정적 웹사이트를 관리하는 개발자들을 위해 호스팅 경험을 혁신적으로 변화시켰다. 이 서비스의 주요 ..

ETC/thinking 2025.01.17

AI Agent 프레임워크, CrewAI

AI Agent란?AI 에이전트는 특정 목적을 달성하기 위해 역할을 부여해 행동할 수 있는 AI 프로그램이다. 이러한 에이전트는 주어진 환경에서 데이터를 수집하고 분석하여 최적의 결정을 내리는 역할을 수행한다. 이를 통해 다양한 산업에서 복잡한 문제를 해결하거나 사용자 경험을 혁신적으로 개선할 수 있다.AI 에이전트의 주요 특징은 다음과 같다.지능적 의사결정: 데이터를 기반으로 한 학습과 추론을 통해 최적의 결과를 도출한다.자율성: 사용자 개입 없이 스스로 작업을 수행하며, 환경 변화에 따라 적응할 수 있다.상호작용성: 사용자와 자연스럽게 소통하며 정보를 교환한다.한 마디로 정리하자면, 역할이 부여된 인공지능 개체라 할 수 있다.   CrewAI: AI Agent 개발을 위한 프레임워크AI 에이전트의 발..

ETC/thinking 2025.01.16

글쓰기 머신이 필요하다면? Freewriter, Pomera

Portable Smart Typewriter 디지털 타자기 이전에 집필에 사용할 프로그램을 소개한 적이 있다. 이번에는 전자기기를 소개할 것이다. 상술할 전자기기는 글쓰기에 특화돼 있다. 더 정확히 표현하자면 '들고 다니며 장소와 시간의 제약을 최소화하여 글쓰기에 집중할 수 있도록 돕는 기기'다. 언제 어디서든 아이디어가 떠올랐다면 이 기기를 꺼내고 시간 단위로 집중할 수 있다. 이들은 과거 오직 글쓰는 것만이 목적이었던 워드프로세서에서 발전을 거듭해 현재에 이르러서 오늘날의 마니악하면서 심플한 모습을 갖추었다. 그럼 각설하고, 글쓰기 머신에 대한 소개와 기기 그 자체에 대한 주관적 견해를 곁들여서 적어보겠다. 포메라 DM250 포메라 DM250은 일본의 전자 문구류 회사인 킹짐에서 만든 디지털 메모 ..

LTE(셀룰러) 스마트워치는 효율적인가?

비효율성 어쩌다 보니 해외 유튜브에서 애플워치 울트라만으로 하루 보내기 같은 영상을 보았다.문득 이런 생각이 들었다. 정말 LTE 통신이 가능한 스마트워치가 보조용 이외에 유의미할까? 몇 달 전, 스마트폰을 바꾸면서 갤럭시워치 5와 버즈 프로2를 함께 구매했다. 여러 용도를 고민해보고 구매한 거라 후회는 없다. 하지만 내 생각만큼 효율적이지 않다는 것을 곧 깨달았다. 블루투스 모델을 들고 있다는 것은 대부분의 경우, 스마트폰도 항상 소지하고 다닌다. 알림을 빠르게 확인해야 하는 상황 말고는, 전화를 주고받는 상황이나, 메세지를 주고 받는 상황에서 '압도적으로' 스마트폰이 편리하다. 폰과 워치는 포지션이나 폼팩터에서 차이를 보이지만 '용도'에서 동일함을 보인다면 이야기가 달라진다. 그렇다고 LTE 모델..

ETC/thinking 2023.03.05

글쓰기 프로그램(작가용) 간단한 소개 - manuskript, QuollWriter, smartedit writer, PlumeCreator, WaveMaker

소설 작업을 한다면 자료가 많은 스크리브너 같은 프로그램을 사용하려는 사람들이 있을 것이다. 허나 가벼운 마음으로 구매하기에는 한 번쯤은 고민해보게 되고, 체험판을 하고도 아직 확신이 서지 않거나, 자신이 쓰고 싶거나 써야 하거나 쓸 기능이 확실히 있는데도 필요 이상으로 갖춘, 다 쓰지도 못하는 기능을 위해 이를 구매하기를 망설이는 사람도 있을 것이다. 그리하여 필자는 한 번 생각해보거나 대체제로 쓸 수 있는 프로그램을 소개하려 한다. 필자 개인의 의견도 포함했으므로 도움이 되길 바란다. Manuskript https://www.theologeek.ch/manuskript/ 매뉴스크립트는 앞으로 소개할 소프트웨어 중에서 '그나마' 한글화가 꽤 되어 있다. 파일 가져오기, 내보내기, 방해금지 모드(집중 모..

728x90
반응형