AnOldStory

SSL/TLS 인증서 적용하기 (Cloudflare or Let's Encrypt with NPM)

AnOldStory — Sun, 5 May 2024 21:10:49 +0900

1. SSL/TLS 인증서

SSL이란 흔히 서버와 클라이언트가 통신할때 암호화를 위해 사용된다.
흔히 우리가 쉽게 말하자면 웹사이트를 제작할때 https를 입히려고할때 한다.

2. Cloudflare SSL/TLS 방식

Cloudflare의 SSL 인증 방식은 총 4가지가있다.
( ← → 는 SSL로 연결됨, ←─→ 는 일반적으로 연결됨을 의미한다)

1. 끄기

브라우저 ←─→ Cloudflare ←─→ 원본서버

아무 암호화도 적용되지않는다.

2. 가변

브라우저 ← → Cloudflare ←─→ 원본서버

사용자 입장에서는 HTTPS가 적용된 것으로 보이나 사실은 Cloudflare와 원본 사이 트래픽은 암호화가 되어있지 않다..

3. 전체

브라우저 ← → Cloudflare ← → 원본서버

모든 구간이 SSL로 연결되어있다.

4. 전체(엄격)

브라우저 ← → Cloudflare ← → 원본서버

모든 구간이 SSL로 연결되어있다. 그러나 Cloudflare와 원본 서버 사이에는 신뢰할 수 있는 인증서만 사용된다.

3. Cloudflare 인증서 발급

Cloudflare에서는 3가지 인증서를 발급해준다.

브라우저 ← ⓐ → Cloudflare ← ⓑ → 원본서

1. 에지 인증서 (Edge)
해당 인증서는 브라우저와 Cloudflare간의 ⓐ구간에서 사용되는 인증서이다. 별도로 다운 받을 순 없고 업로드만이 허용된다 (유료)

2. 클라이언트 인증서 (Client)
해당 인증서는 말그대로 사용자의 Client에 미리 허용해두는 인증서이다. 해당 인증서를 사용하기위해선 유저와 서버에 모두 설정해두어야 사용 할 수 있다.

3. 원본 서버 (Origin Certificate Authrority 보 CA라고함)
해당 인증서는 Cloudflare와 원본서버 간 ⓑ구간에서 사용되는 인증서이다. 서버에 적용시켜두면 작동은 하나 최대 단점으로는 클라이언트가 바로 직접 접속할 시 인증서를 신뢰 할 수 없다 오류가 표시된다. (Cloudflare Docs 참고)

Origin CA certificates · Cloudflare SSL/TLS docs

Origin Certificate Authority (CA) certificates allow you to encrypt traffic between Cloudflare and your origin web server, and reduce origin bandwidth …

developers.cloudflare.com

4. Let's Encrypt with NPM(Nginx Proxy Manager) 기준

필자는 NPM(Nginx Proxy Manager)와 Cloudflare을 사용하여 설명하겠다. 사실상 내부적으로는 Let's Encrypt를 사용하는 것과 동일하다.

NPM 로그인 > SSL Certificates > Add SSL Certificate로 들어간 후 아래의 포맷 대로 작성한다.

여기서 <Cloudflare API Key>는 https://dash.cloudflare.com/profile/api-tokens에서 발급받을 수 있다.

토큰 생성 > 영역 DNS 편집 템플릿 사용을 들어가고

이와 같이 설정하고 요약 계속 > 토큰 생성 을하면 해당 값이 생성된다.

다만 NPM이 80포트가 열려있어야 자동적으로 SSL 파일이 생성된다.

집에서도 ChatGPT처럼 LLM을 사용해보기 with Ollama + OpenWebUi + Llama 3

AnOldStory — Wed, 24 Apr 2024 10:38:35 +0900

최근에 Meta에서 오픈소스로 풀은 Llama3가 나오면서
집에서도 LLM을 편히 사용할 수 있을꺼같아 시도해보았다.

구성 완료 후 이미지

1. 구성

프론트엔드는 OpenWebUi
백엔드는 Ollama 라는 것을 사용하면된다.
Ollama는 Docker처럼 모델들을 다운로드하고 실행시킬 수 있게 하는 프로그램이고
OpenWebUi는 그것을 ChatGPT처럼 웹에서 사용 할 수있게하는 껍데기 같은 역할이다.
유저의 입력 → OpenWebUi → Ollama

쉽게말하자면 Ollama만 설치해도 바로 사용 할 수 있지만
터미널을 켜서 집 컴퓨터에 접속하여 검은창으로 사용하기 불편하다.

집에 서버용 컴퓨터(Ubuntu)와
GPU용 메인 컴퓨터(Window)가 따로 있기에
프론트 엔드와 백엔드를 서로 다른 컴퓨터로 구성하게 되었다.

2. Ollama 설치

Ollama 다운로드 페이지

Download Ollama on macOS

ollama.com

해당 페이지에 들어가 해당 기종에 맞게 설치한다.
추천하는건 Docker로 설치하는 것이지만 필자는 GPU 설정이 귀찮기에 그냥 설치한다.
해당 방법은 여기에 잘 설명되어있다.

Tip. exe 파일에 명령어 인자를 추가하면 설치 위치를 지정할 수 있다.
윈도우 기준
.\OllamaSetup.exe /DIR=D:\원하는위치

ollama run llama3

명령어를 실행하면 Llama3가 다운로드 되기 시작한다.
Default Parameter는 8b이며 4.7GB이다.
만약 70B를 받고싶다면 llama3:70b라고 하면된다.

일반적으로 용량은
본인 GPU VRAM크기보다 작은 것을 다운받아야
원활하게 작동한다.

다운로드 가능한 모델 목록에서 원하는 모델들을 다운로드 받을 수 있다.

이제 윈도우에서 해당 Ollama를 외부 서버에서 접근하려면 환경변수 설정이 필요하다.
(만약 로컬로 돌린다면 상관이 없다.)

[Windows 설정] - [시스템] - [정보] - [고급 시스템 설정] - [고급] - [환경 변수] - [새로만들기]
로 위 3가지 를 설정해주면 된다.
OLLAMA_HOST, OLLAMA_ORIGINS 는 외부에서 접근 가능하게 하는것
OLLAMA_MODELS 는 모델을 저장할 위치를 지정하는 것이다.

3. OpenWebUi 설치

OpenWebUi 다운로드 페이지

OpenWebUI는 편히 Docker로 설치하였다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

해당 명령어를 실행 후
http://localhost:3000로 접속하여 계정을 만든 후 들어가면된다.
계정은 로컬에 저장되는 것이므로 마음대로 해도된다.

4. Ollama와 OpenWebUi 연결

그 후 좌측 하단 본인 이름을 누른 후 Settings를 누르면 여러가지 설정을 할 수 있다.

톱니 바퀴 모양을 누르면 된다.

Settings를 눌러보자.

URL은 본인이 설치한 Ollama서버를 적으면된다.

그 후 [Connections]에 서버 URL을 작성하면된다.
해당 URL을 작성 후 우측에 새로고침 모양을 누르면
Server Connection Verified가 떠야한다.

만약 Ollama설치를 로컬로 했다면
http://localhost:11434로 설정하면된다.

5. 사용하기

자 그럼 원하는 모델을 선택하서 사용해보자.

필자는 여러가지 모델을 설치했기에 모델이 여러가지 뜬다.

매번 설정하기 귀찮다면
모델을 누른 후에 Set as default를 누르면
접속시 마다 같은 모델이 자동으로 선택된다.

그후 ChatGPT처럼 작성하면 잘 작동된다.

6. (선택) GGUF 파일 넣어보기

필자의 그래픽카드는 3090Ti 24GB를 사용하고있는데
4GB의 모델말고 좀더 큰 용량으로 성능 테스트하고 싶어졌다.

Ollama에는 적당한게 보이지 않자 허깅페이스에서 적당한 파일을 찾았다.

https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF/tree/main

여기서 Meta-Llma-3-70B-Instruct.IQ2_XS.gguf 파일을 받았다.

해당 파일을 Ollama에 등록하고싶으면
해당 위치로 가서 Modelfile이라는 파일을 생성하고 아래의 내용을 작성한다.

FROM ./Meta-Llama-3-70B-Instruct.IQ2_XS.gguf

그후 해당 디렉토리에서

ollama create Meta-Llama-3-70B-Instruct.IQ2_XS -f Modelfile

을 하면 GGUF파일이 등록된다.

7. 후기

https://ai.meta.com/blog/meta-llama-3/

의외로 한국어를 잘 못한다.
학습 데이터에 5%만 영어가 아닌 30개의 언어를 사용했다보니
한국어로 영어만큼의 성능을 기대하긴 힘든거같다.

또한 의외로 검열을 적게한거같아
SQL Injection같은 공격 기법들을 잘 설명해줘서 유용하다.

[JAVA] Switch가 If 보다 빠른 이유 (lookupswitch와 tableswitch의 분기 조건)

AnOldStory — Tue, 9 Apr 2024 09:25:40 +0900

일반적으로 Java에서
switch문은 if문 보다 빠르다
그 이유에 대해 차근차근 알아보자

1. If와 Switch의 차이

우선 Switch 와 If문의 컴파일시 bytecode차이를 분석해보자.
우선 If 와 Switch는 모두 문맥상 같은 역할을 하고있도록 구성하였다.

먼저 If를 살펴본다.

// IfExample.java
public class IfExample {
    public int test(int i) {
        if (i == 1) return 6;
        if (i == 2) return 7;
        return 11;
    }
}

// IfExample.class
Compiled from "IfExample.java"
public class IfExample {
  public IfExample();
    Code:
       0: aload_0
       1: invokespecial #1                  // Method java/lang/Object."<init>":()V
       4: return

  public int test(int);
    Code:
       0: iload_1
       1: iconst_1
       2: if_icmpne     8                   // if (i != 1) goto 8
       5: bipush        6                   // return 6
       7: ireturn
       8: iload_1
       9: iconst_2                          
      10: if_icmpne     16                  // if (i != 2) goto 16
      13: bipush        7                   // return 7
      15: ireturn
      16: bipush        11                  // 그외 경우 return 11
      18: ireturn                       
}

예상한대로 If는 모든 경우의 수를 하나씩 확인한 후 반환한다.

다음은 Switch를 살펴본다.

// SwitchExample.java
public class SwitchExample {
    public int test(int i) {
        switch (i) {
            case 1:
                return 6;
            case 2:
                return 7;
            default:
                return 11;
        }
    }
}

// SwitchExample.class
Compiled from "SwitchExample.java"
public class SwitchExample {
  public SwitchExample();
    Code:
       0: aload_0
       1: invokespecial #1                  // Method java/lang/Object."<init>":()V
       4: return

  public int test(int);
    Code:
       0: iload_1
       1: lookupswitch  { // 2				
                     1: 28					// if (i==1) goto 28
                     2: 31 					// if (i==2) goto 31
               default: 34					// 그외의 경우 goto 34
          }
      28: bipush        6					// return 6
      30: ireturn
      31: bipush        7					// return 7
      33: ireturn
      34: bipush        11					// return 11
      36: ireturn
}

무엇인가 If문과 다른 부분이 보이는가?

If는 매 분기별로 JVM 명령어를 한줄씩 읽어 나가고
Switch는 모든 분기를 JVM 명령어 하나로 처리한다.

그러므로 해당 Jump Table을 만드는 초기 비용을 제외하면
Switch문이 별도의 분기 없이 바로 탐색이 가능하다

그렇지만 실제로 bytecode로 변환된 코드에는 두가지 Switch가 존재한다.
아래에서 해당 부분을 확인해보자.

2. Switch의 두가지 종류 LookupSwitch, TableSwitch

그러나 Switch를 bytecode로 변환해보면 경우에 따라 다르게 변환이된다.

아까와 같은 코드에 case 분기를 하나 더 추가시키고 컴파일해본다.

// SwitchExample_2.java
public class SwitchExample_2 {
    public int test(int i) {
        switch (i) {
            case 1:
                return 6;
            case 2:
                return 7;
            case 3:
                return 8;
            default:
                return 11;
        }
    }
}

// SwitchExample_2.class
Compiled from "SwitchExample_2.java"
public class SwitchExample_2 {
  public SwitchExample_2();
    Code:
       0: aload_0
       1: invokespecial #1                  // Method java/lang/Object."<init>":()V
       4: return

  public int test(int);
    Code:
       0: iload_1
       1: tableswitch   { // 1 to 3
                     1: 28                  // if(i==1) goto 28
                     2: 31                  // if(i==2) goto 31 
                     3: 34                  // if(i==3) goto 34
               default: 37                  // 그 외에 goto 37
          }
      28: bipush        6                   // return 6
      30: ireturn
      31: bipush        7                   // return 7
      33: ireturn
      34: bipush        8                   // return 8
      36: ireturn
      37: bipush        11                  // return 11
      39: ireturn
}

차이점을 느낄 수 있는가?

기존에는 분기가 lookupswitch로 이루어졌지만
하나가 더 추가되었을 경우 tableswitch라는 명령어로 변경되었다.

Oracle Java 22 문서에는 이와 같이 적혀있다.

The tableswitch instruction is used when the cases of the switch can be efficiently represented as indices into a table of target offsets.
tableswitch는 offset 테이블로 효율적으로 표현될 수 있을때 사용되어집니다.

이말은
특정 경우에는 lookupswitch를
특정 경우에는 tableswitch를
사용한다.

그렇다면 실제로 어떤 기준으로 나뉘어지는 것인가?
해당 부분은 OpenJDK 소스코드 에서 확인해볼 수 있다.

// jdk/src/jdk.compiler/share/classes/com/sun/tools/javac/jvm/Gen.java
private void handleSwitch(JCTree swtch, JCExpression selector, List<JCCase> cases,boolean patternSwitch) {
...

    long table_space_cost = 4 + ((long) hi - lo + 1); // words
    long table_time_cost = 3; // comparisons
    long lookup_space_cost = 3 + 2 * (long) nlabels;
    long lookup_time_cost = nlabels;
    int opcode =
        nlabels > 0 &&
        table_space_cost + 3 * table_time_cost <=
        lookup_space_cost + 3 * lookup_time_cost
        ?
        tableswitch : lookupswitch;
...
}

위의 표를 정리해보자면 아래와 같다.

Opcode	Space Cost	Time Cost
tableswitch	4 + ( hi - lo + 1 )	3
lookupswitch	3 + 2 * nlabels	nlabels

lo = key들의 최소 값
hi = key들의 최대 값
nlabels = 각 스위치 수

그리고 Switch의 $$Space Cost+Time Cost*3$$중 작은 값으로 선택되어진다.

간단하게 요약하자면
tableswitch는 해당 값이 최소와 최대값 사이에 있는가를 따지고
lookupswitch는 해당 값이 일치 하는지를 모두 확인해본다.

아래와 같은 예시로 확인해보자.

// SwitchExample_3.java
public class SwitchExample_3 {
    public int test(int i) {
        switch (i) {
            case 1:
                return 6;
            case 2:
                return 7;
            case 4:
                return 5;
            case 6:
                return 6;
            default:
                return 11;
        }
    }
}

$$ \begin{align} & lo = 1 \\& hi = 6 \\& nlabels = 4 \\& tableswitch = ( 4+(6-1+1) ) +3 * 3 = 19 \\& lookupswitch = ( 3+2*4 ) + 3 * 4 = 23 \end{align} $$

tableswitch는 lookupswitch보다 작으니 tableswitch로 선택되어진다.
또한, 해당 switch의 필요하지않은 key에는 default값이 들어가게된다.

// SwitchExample_3.class
Compiled from "SwitchExample_3.java"
public class SwitchExample_3 {
  public SwitchExample_3();
    Code:
       0: aload_0
       1: invokespecial #1                  // Method java/lang/Object."<init>":()V
       4: return

  public int test(int);
    Code:
       0: iload_1
       1: tableswitch   { // 1 to 6
                     1: 40                 // if (i==1) goto 40
                     2: 43                 // if (i==2) goto 43
                     3: 52                 // 그외 goto 52
                     4: 46                 // if (i==4) goto 46
                     5: 52                 // 그외 goto 52
                     6: 49                 // if (i==6) goto 49
               default: 52                 // 그외 goto 52
          }
      40: bipush        6                  // return 6 
      42: ireturn
      43: bipush        7                  // return 7
      45: ireturn
      46: bipush        8                  // return 8
      48: ireturn
      49: bipush        9                  // return 9
      51: ireturn
      52: bipush        11                 // return 11
      54: ireturn
}

놀랍게도 3, 5인 경우에는 default값이 들어가 해결되었다.
실질적으로 시간 효율성을 위해 공간 효율성을 포기한거 같다.

그렇다면 정수형이 아닌 문자열같은 경우에는 어떻게 작동하는가?
아래에서 해당 부분을 확인해보자.

3. 문자열에 대한 Switch 작동 방식

문자열에 대한 처리를 보면 이해가 된다.

// SwitchExample_String.java
...
switch (i) {
    case "ga":
        return 6;
    case "na":
        return 7;
   	case "da":
    	return 8;
    default:
        return 11;
}
...

원본 문자열들은 HashCode로 변환된 후, 해당 값들을 기준으로 switch가 진행된다.

// SwitchExample_String.java
...
byte tmp = -1;
switch (tmp.hashCode()) {
    case 3290:
    	if (tmp.equals("ga")){
        	tmp = 0;
        } else if (tmp.equals("da")){
        	tmp = 2; // 만약 hash가 충돌 날경우
        }
        break;
    case 3507:
    	if (tmp.eqauls("na")){
        	tmp = 1;
        }
        break;
}
switch(tmp){
    case 0:
    	return 6;
    case 1: 
    	return 7;
   	case 2:
    	return 8;
    default:
    	return 11;
}
...

소스코드 : https://github.com/AnOldStory/blogcode/tree/main/java_if_switch
참고 자료 :
Oracle JVM docs : https://docs.oracle.com/javase/specs/jvms/se22/html/jvms-3.html#jvms-3.10
openjdk 22 : https://github.com/openjdk/jdk/blob/jdk-22%2B36/src/jdk.compiler/share/classes/com/sun/tools/javac/jvm/Gen.java#L1331C45-L1331C56