그것만이 마몽드

신규 인프라 설계시 참고할 기준 자료를 한번에 추출import requests, csv, timefrom collections import defaultdictZABBIX_URL = "http://ZABBIX서버_IP/api_jsonrpc.php"TOKEN = "ZABBIX서버_관리자계정_API토큰"CHUNK = 200def zapi(method, params): r = requests.post(ZABBIX_URL, json={ "jsonrpc": "2.0", "method": method, "params": params, "id": 1 }, headers={"Authorization": f"Bearer {TOKEN}", "Content-Type": "application/json..

구형 Ampere기반 A40에 여러 chat, reranker, embedding 등의 모델을 올려 로컬 LLM으로 활용하고 있습니다.(ex: Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8) vLLM 업데이트, 요청 모니터링, START, STOP 스크립트를 첨부와 같이 만들어 관리하고 있습니다. (클로드 활용)프로파일로 관리가 되므로 신규 모델 실행 시 만들어 주면 이후 재사용 가능합니다. A40에서는 최신 양자화가 H/W 수준에서 지원이 안되어서 INT8 사용, 컨텍스트 길이 제한 등 여러가지를 고려하였으나,다른 GPU 사용 시, 클로드에게 해당 부분으로 맞춰달라하면 수정가능할 것입니다.

### 무료 서버 활용 간단한 프로그램 개발 루틴1. Claude 등을 이용해 python 기반 프로그램 개발2. github 가입 후 repository 생성하여 개발본 commit (Agent의 경우 이 부분까지 자동화)3. render.com 가입 후 github 연동4. repository 선택하여 빌드 및 배포5. 수정사항 발생시 github commit 되면 render에 자동 빌드 및 배포 됨 ### 이슈render.com 무료계정은 재시작시 file 이 초기화되고, 일정시간 접속없으면 unload 되어 지연 및 파일(DB등) 초기화 발생하므로, 필요시, 유료 플랜 구독하거나 주기적인 외부 갱신 필요

$ jcmd PID GC.class_histogram > output.txtex) jcmd 22314 GC.class_histogram > class_histogram_22314_20260901.txt 1. 프로세스 재기동 전/후 비교해서 악성 클래스 동적 로드 있었는지 체크해보기2. 통계치 확인 등

1. 웹서버 용 20,000명 정도 동시 요청, 요청 당 1초 정도 소요 예상 : 8 core 16GB ram 할당2. swap을 최대한 막으려면 vm.swapiness=1, 아예 없애려면 vm.swapiness = 0 으로 변경하고, /etc/fstab 에서 swap mount제거)3. systemd의 경우, 서비스 별로 Limit 확인 필요 (아래 설정 무시할 수 있음)# vi /etc/sysctl.conffs.file-max = 2097152kernel.printk = 3 4 1 7net.core.somaxconn = 65536net.core.netdev_max_backlog = 65536net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ip..

서버 특성(웹, DB, 컨테이너)과 자원(CPU, 메모리) 에 맞게 파라미터 값을 튜닝해주는 자동화 스크립트입니다. (Claude 활용)ipv6 는 끄고, swap, file-max, tcp 파라미터 등 여러 가지 사항을 자동 설정하도록 하였습니다.--apply 옵션을 넣어야만 실제 적용합니다.

※ Adobe Acrobat 에서 쓰던 일부 기능만 빼서 만들어 본건데 코딩 결과물은 Claude가 훨씬 낫습니다. [LLM 프롬프트] - 무료 gemini, claude 버전으로도 제작 가능 (위의 파일은 각각의 llm으로 만든 다른 버전)1단계 — 뼈대 요청PyQt5 + PyMuPDF로 PDF 뷰어를 만들어줘. 창 왼쪽에 페이지 썸네일 목록, 오른쪽에 PDF 페이지를 렌더링하는 메인 뷰. 상단 툴바에 열기/저장/페이지 이동/줌 버튼. 전체 다크 테마(#1E1E2E 계열).2단계 — 핵심 기능 추가위 코드에 기능을 추가해줘. (1) 마우스 휠 줌, Ctrl+휠 줌 / 패닝 전환. (2) 페이지 끝에서 휠하면 다음/이전 페이지로 자동 전환. (3) 썸네일 목록에서 Ctrl/Shift 다중 선택 + 우클릭..

원격지 서버에 Ollama 모델을 복제할 수 있도록 했습니다. (외부에서 받아온 모델에 대해 내부 서버간 복제를 위함)아래 변수를 적절히 바꿔서 실행하면 됩니다.BASE_MANIFEST_DIRBLOB_DIRREMOTE_SERVER#!/bin/bash# 1. 기본 경로 설정 (레지스트리 루트로 변경)REGISTRY_ROOT="/app/ollama/models/manifests/registry.ollama.ai"BLOB_DIR="/app/ollama/models/blobs"REMOTE_SERVER="root@192.168.0.3"# 2. 매개변수 받기MODEL_INPUT=$1REMOTE_SERVER=${2:-"$REMOTE_SERVER"}# 3. 모델명이 입력되지 않았을 경우 전체 목록 출력if [ -z "..

아래는 ollama1, ollama2 서버에 각각 GPU 두개씩가 설치되어 NUM_PARALLEL=6 으로 ollama server 중인 상태에서,요청을 적절히 분기해주기 위한 reverse proxy 설정 예시입니다.dify plugin 으로 ollama 호출 시, .env 의 CELERY_WORKER_AMOUNT도 적절히 늘려야 합니다. (ex: 6*4=24)안그러면 default 값인 1로 인해 한번에 1개씩만 호출되어 LB의 의미가 없습니다.user www-data;worker_processes auto;pid /run/nginx.pid;error_log /var/log/nginx/error.log warn;include /etc/nginx/modules-enabled/*.conf;events {..

gemini 등을 활용하여 관리 스크립트를 만들었습니다.계속 개선하다보니 꽤 쓸만합니다. # ollama start 0 : gpu0 시작# ollama start : gpu 전체 시작# ollama stop 1 : gpu1 중지# ollama stop : gpu 전체 중지# ollama status 1 : 상태 1초마다 갱신 (어떤 모델이 떠있는 지 확인)#!/bin/bash# ======================================================================# Ollama Cluster Management# ======================================================================# 1. 환경 설정exp..