그것만이 마몽드

구형 Ampere기반 A40에 여러 chat, reranker, embedding 등의 모델을 올려 로컬 LLM으로 활용하고 있습니다.(ex: Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8) vLLM 업데이트, 요청 모니터링, START, STOP 스크립트를 첨부와 같이 만들어 관리하고 있습니다. (클로드 활용)프로파일로 관리가 되므로 신규 모델 실행 시 만들어 주면 이후 재사용 가능합니다. A40에서는 최신 양자화가 H/W 수준에서 지원이 안되어서 INT8 사용, 컨텍스트 길이 제한 등 여러가지를 고려하였으나,다른 GPU 사용 시, 클로드에게 해당 부분으로 맞춰달라하면 수정가능할 것입니다.

### 무료 서버 활용 간단한 프로그램 개발 루틴1. Claude 등을 이용해 python 기반 프로그램 개발2. github 가입 후 repository 생성하여 개발본 commit (Agent의 경우 이 부분까지 자동화)3. render.com 가입 후 github 연동4. repository 선택하여 빌드 및 배포5. 수정사항 발생시 github commit 되면 render에 자동 빌드 및 배포 됨 ### 이슈render.com 무료계정은 재시작시 file 이 초기화되고, 일정시간 접속없으면 unload 되어 지연 및 파일(DB등) 초기화 발생하므로, 필요시, 유료 플랜 구독하거나 주기적인 외부 갱신 필요

$ jcmd PID GC.class_histogram > output.txtex) jcmd 22314 GC.class_histogram > class_histogram_22314_20260901.txt 1. 프로세스 재기동 전/후 비교해서 악성 클래스 동적 로드 있었는지 체크해보기2. 통계치 확인 등

1. 웹서버 용 20,000명 정도 동시 요청, 요청 당 1초 정도 소요 예상 : 8 core 16GB ram 할당2. swap을 최대한 막으려면 vm.swapiness=1, 아예 없애려면 vm.swapiness = 0 으로 변경하고, /etc/fstab 에서 swap mount제거)3. systemd의 경우, 서비스 별로 Limit 확인 필요 (아래 설정 무시할 수 있음)# vi /etc/sysctl.conffs.file-max = 2097152kernel.printk = 3 4 1 7net.core.somaxconn = 65536net.core.netdev_max_backlog = 65536net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ip..

서버 특성(웹, DB, 컨테이너)과 자원(CPU, 메모리) 에 맞게 파라미터 값을 튜닝해주는 자동화 스크립트입니다. (Claude 활용)ipv6 는 끄고, swap, file-max, tcp 파라미터 등 여러 가지 사항을 자동 설정하도록 하였습니다.--apply 옵션을 넣어야만 실제 적용합니다.

※ Adobe Acrobat 에서 쓰던 일부 기능만 빼서 만들어 본건데 코딩 결과물은 Claude가 훨씬 낫습니다. [LLM 프롬프트] - 무료 gemini, claude 버전으로도 제작 가능 (위의 파일은 각각의 llm으로 만든 다른 버전)1단계 — 뼈대 요청PyQt5 + PyMuPDF로 PDF 뷰어를 만들어줘. 창 왼쪽에 페이지 썸네일 목록, 오른쪽에 PDF 페이지를 렌더링하는 메인 뷰. 상단 툴바에 열기/저장/페이지 이동/줌 버튼. 전체 다크 테마(#1E1E2E 계열).2단계 — 핵심 기능 추가위 코드에 기능을 추가해줘. (1) 마우스 휠 줌, Ctrl+휠 줌 / 패닝 전환. (2) 페이지 끝에서 휠하면 다음/이전 페이지로 자동 전환. (3) 썸네일 목록에서 Ctrl/Shift 다중 선택 + 우클릭..

원격지 서버에 Ollama 모델을 복제할 수 있도록 했습니다. (외부에서 받아온 모델에 대해 내부 서버간 복제를 위함)아래 변수를 적절히 바꿔서 실행하면 됩니다.BASE_MANIFEST_DIRBLOB_DIRREMOTE_SERVER#!/bin/bash# 1. 기본 경로 설정 (레지스트리 루트로 변경)REGISTRY_ROOT="/app/ollama/models/manifests/registry.ollama.ai"BLOB_DIR="/app/ollama/models/blobs"REMOTE_SERVER="root@192.168.0.3"# 2. 매개변수 받기MODEL_INPUT=$1REMOTE_SERVER=${2:-"$REMOTE_SERVER"}# 3. 모델명이 입력되지 않았을 경우 전체 목록 출력if [ -z "..

아래는 ollama1, ollama2 서버에 각각 GPU 두개씩가 설치되어 NUM_PARALLEL=6 으로 ollama server 중인 상태에서,요청을 적절히 분기해주기 위한 reverse proxy 설정 예시입니다.dify plugin 으로 ollama 호출 시, .env 의 CELERY_WORKER_AMOUNT도 적절히 늘려야 합니다. (ex: 6*4=24)안그러면 default 값인 1로 인해 한번에 1개씩만 호출되어 LB의 의미가 없습니다.user www-data;worker_processes auto;pid /run/nginx.pid;error_log /var/log/nginx/error.log warn;include /etc/nginx/modules-enabled/*.conf;events {..

gemini 등을 활용하여 관리 스크립트를 만들었습니다.계속 개선하다보니 꽤 쓸만합니다. # ollama start 0 : gpu0 시작# ollama start : gpu 전체 시작# ollama stop 1 : gpu1 중지# ollama stop : gpu 전체 중지# ollama status 1 : 상태 1초마다 갱신 (어떤 모델이 떠있는 지 확인)#!/bin/bash# ======================================================================# Ollama Cluster Management# ======================================================================# 1. 환경 설정exp..

단, 5회 정도의 대화를 통해 실용적인 수준의 윈도우즈용 프로그램을 만들어 내는 시대입니다... [프롬프트]1. 윈도우용 python 사진 뷰어를 만들어주세요. png, jpg 등 대부분의 파일형식을 지원해야 하고, 윈도우 탐색기로 파일 열기 했을때 해당 파일의 디렉토리를 작업디렉토리로 하고, 단축키로는 아래를 지원해야 합니다. pgup: 이전파일, pgdn: 다음파일, +: 사진확대, -: 사진축소, *:최대화 2. 처음 창이 열릴 때 모든 이미지가 창안에 100% 차도록 resize 해주세요. pgdn, pgup 으로 파일 전환할때도 창안에 모든 내용이 보여야 합니다. 또한, -,+, *로 resize 할때는 우상단에 작은 레이어로 전체 이미지 대비 현재 이미지 비율을 %로 흰색 배경, 검정 글씨로 ..