Apache Zeppelin에서 jdbc 연동시 조회할때 TLS 관련 오류 발생

0. 현재 개발환경

    - OS : Ubuntu 20.4

    - Main DB : SQL Server on Linux 2019 Express

    - 보조 DB : SQL Server 2008, SQL Server 2014

    - Java : Apache Zeppelin 권장 버전 (OPENJDK 1.8)

1. 보다시피 버전차이가 엄청 남.

2. Zeppelin에 jdbc (9.2.1) 연결을 했을때, SQL Server 2014는 아무 문제가 없음

3. SQL Server 2008에 연결시 TLS 버전을 지원 안한다는 오류 발생함.

4. 해당 서버 버전의 TLS 1.0 프로토콜이 너무 오래되서 지원을 안함.

5. 일단.. 해당 서버의 OS인 Windows 2008 R2에 TLS 1.1 / TLS 1.2 설정을 해줌.

6. 동일 에러 발생 - SQL Server 2008 자체에서 TLS 1.0 통신만 지원하는 것으로 판단.

7. jdbc 4.2를 쓰면 된다는 개소리 믿고 삽질하다가.. 다음과 같은 글 발견..

https://blog.naver.com/PostView.nhn?blogId=hgp33&logNo=221293449287&from=search&redirect=Log&widgetTypeCall=true&directAccess=false

8. 뭐 내용은 Java jdbc 보안문제로 동일함.

9. 문득 깨닮음을 얻은 나는 Ubuntu의 JRE에 있는 security 설정을 건들면 되겠다는 생각이 듬.

10. 저 링크에는 싹 지우라고 했지만... 글 자체가 3년이 넘은지라.. 

    내 목적인 TLS 관련 부분만 지움..

    jdk.tls.disabledAlgorithms 에서 TLS 1.0, TLS 1.1을 지워주자..

11. 당근 바로 안된다.. 서버 재부팅!!!

12. 해결!

13. 끗! 뭘봐!

Ubuntu 20.04.2 LTS에 Apache Zeppelin 설치 삽질기....

지난번에 Apache Zeppelin을 간편하게.. docker를 활용하여 설치했었음.

이젠 big data를 정식으로 개발해야 해서 실제 운영할 서버에 docker 말고..

ubuntu 20.04.2 LTS에 설치를 함...

역시나.. 언제나 그러하듯... 젠장.....

삽질 시작...

1. 처음엔... Apache Zeppelin의 메뉴얼에 있는대로 하자.. 기다렸다는 듯이.. 에러 뿜음..

2. 로그보니.. 디렉토리들.. 생성권한이 없어서 그런듯 하여.. sudo로 해결하거나 그냥 생성해주고 돌림..

3. 잘 돌아간거 같은데.. 아무리 접속해도 안뜬다 싶어서 얘는 방화벽을 어떻게 쓰나 보니 ufw 명령어를 쓰면 됨..

4. 이래저래 뒤져서 방화벽 열고, 돌렸는데... 아무리해도 연결 거부가 나옴..

5. 똑똑한 나는, 이거슨 안 올라온게 아니고, 방화벽이 하는 짓꺼리여~~ 라고 생각하며 iptables 로 어떻게든 해보려 했으나.. 달라진게 없음..

6. nc -l -p 포트번호 나 sudo netstat -tulpn | grep 포트번호 해도 포트는 이상없이 오픈 된 것으로 보임..

7. 그러다가... netstat 결과에서 127.0.0.1:포트번호 만 열려있는 것을 확인함..

8. 다시 Apache Zeppelin 메뉴얼 뒤지니... 서비스 할 IP를 지정하는 환경설정 발견..

9. conf 밑에 있는 zeppelin-site.xml.template 파일로 zeppelin-site.xml 생성한 다음 안에 있는 zeppelin.server.addr 속성값을 서버의 IP로 변경하니.. 해결..

 - 내용추가 : 그냥 모든 IP 접속 가능하게 0.0.0.0 으로 설정하면 됨!

10. 여기까지 오는데 5시간 걸림...

11. 삽질은 계속된다.. 쭈욱~~~~

OpenMAINT 설치하면서 필요한 것들 정리중...

postgresql 설치 참고

https://www.postgresql.org/download/linux/redhat/

centos 6 버전에서 tomcat 9 설치

https://www.itzgeek.com/how-tos/linux/centos-how-tos/install-apache-tomcat-7-0-on-rhel-6-centos-6.html

계속 추가중...

OpenJdk 설치, 삭제, 업데이트

원문 : OpenJdk 설치, 삭제, 업데이트



CentOS 6에서 OpenJDK 11 이상을 쓸려고 해서 찾은 것 중에..



정말 잘 정리되어 있는 포스트...

Oracle에서 Java를 유료화 하면서 상업적인 목적의 서버에 Java를 설치하고 사용할 경우 주의해야 합니다. 로컬 PC에서의 개발은 oracle, openjdk 상관없이 사용해도 문제가 없지만, 서버 환경에서의 사용은 저작권이 침해될 수 있으므로 openjdk를 설치해서 java 어플리케이션을 구동하는 것을 추천합니다.

JDK8 및 이전 버전 설치

ubuntu, debian 계열 리눅스 설치

$ sudo apt-get install openjdk-8-jdk

Reading package lists... Done

Building dependency tree

Reading state information... Done

The following package was automatically installed and is no longer required:

libvpx3

......... 생략

Processing triggers for ureadahead (0.100.0-19) ...

Processing triggers for ca-certificates (20170717~16.04.2) ...

Updating certificates in /etc/ssl/certs...

0 added, 0 removed; done.

Running hooks in /etc/ca-certificates/update.d...

done.

done.

$ java -version

openjdk version "1.8.0_191"

OpenJDK Runtime Environment (build 1.8.0_191-8u191-b12-2ubuntu0.16.04.1-b12)

OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

JDK 삭제

$ sudo apt-get remove openjdk*

$ sudo apt-get autoremove --purge

$ sudo apt-get autoclean

Fedora, Centos, Redhat 계열 리눅스 설치

$ sudo yum -y install java-1.8.0-openjdk-devel

Dependencies Resolved

=======================================================================================================================

Package Arch Version Repository Size

=======================================================================================================================

Installing:

java-1.8.0-openjdk x86_64 1:1.8.0.201.b09-0.amzn2 amzn2-core 259 k

Installing for dependencies:

alsa-lib x86_64 1.1.4.1-2.amzn2 amzn2-core 425 k

atk x86_64 2.22.0-3.amzn2.0.2 amzn2-core 258 k

avahi-libs x86_64 0.6.31-

Transaction Summary

....... 생략

=======================================================================================================================

Install 1 Package (+63 Dependent packages)

Total download size: 46 M

Installed size: 145 M

Is this ok [y/d/N]: y

libpng.x86_64 2:1.5.13-7.amzn2.0.2 libthai.x86_64 0:0.1.14-9.amzn2.0.2

libwayland-client.x86_64 0:1.14.0-2.amzn2.0.1 libwayland-server.x86_64 0:1.14.0-2.amzn2.0.1

libxcb.x86_64 0:1.12-1.amzn2.0.2 libxshmfence.x86_64 0:1.2-1.amzn2.0.2

libxslt.x86_64 0:1.1.28-5.amzn2.0.2 lksctp-tools.x86_64 0:1.0.17-2.amzn2.0.2

mesa-libEGL.x86_64 0:17.2.3-8.20171019.amzn2.0.4

Complete!

$ java -version

openjdk version "1.8.0_201"

OpenJDK Runtime Environment (build 1.8.0_201-b09)

OpenJDK 64-Bit Server VM (build 25.201-b09, mixed mode)

JDK 삭제

$ rpm -qa | grep jdk

copy-jdk-configs-3.3-10.amzn2.noarch

java-1.8.0-openjdk-1.8.0.201.b09-0.amzn2.x86_64

java-1.8.0-openjdk-headless-1.8.0.201.b09-0.amzn2.x86_64

$ sudo yum -y remove copy-jdk-configs-3.3-10.amzn2.noarch

$ sudo yum -y remove java-1.8.0-openjdk-1.8.0.201.b09-0.amzn2.x86_64

$ sudo yum -y remove java-1.8.0-openjdk-headless-1.8.0.201.b09-0.amzn2.x86_64

JDK9 & later

최신버전의 jdk의 경우 apt-get이나 yum을 통해 업데이트가 늦기 때문에 다음 링크중 하나에서 openjdk 최신버전을 다운로드 받아 설치합니다.

https://adoptopenjdk.net/releases.html?variant=openjdk11&jvmVariant=hotspot
https://jdk.java.net/archive/

다운로드

$ wget https://github.com/AdoptOpenJDK/openjdk11-binaries/releases/download/jdk-11.0.3%2B7/OpenJDK11U-jdk_x64_linux_hotspot_11.0.3_7.tar.gz

압축해제

$ tar -xvf OpenJDK11U-jdk_x64_linux_hotspot_11.0.3_7.tar.gz

JAVA 설치 디렉토리로 이동

리눅스에서 Java는 /usr/lib/jvm 밑에 설치됩니다. 기존에 설치한 Java가 있다면 해당 경로에 이미 다른 Java가 존재할 것입니다. 디렉토리가 없는경우 생성하고 위에서 압축해제한 jdk11을 해당 디렉토리로 이동 시킵니다.

$ sudo mkdir /usr/lib/jvm

$ sudo mv jdk-11.0.3+7/ /usr/lib/jvm/openjdk-11.0.3+7

사용중인 jdk 링크 변경

update-alternative –install 명령을 통하여 아래와 같이 수동으로 설치한 jdk11을 시스템에 업데이트합니다.

$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/openjdk-11.0.3+7/bin/java 1

$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/openjdk-11.0.3+7/bin/javac 1

java 버전 변경

update-alternatives –install 실행후에 java 버전이 이전 버전으로 나온다면 update-alternatives –config 명령으로 java 버전을 선택해 줍니다.

$ java -version

penjdk version "1.8.0_191"

OpenJDK Runtime Environment (build 1.8.0_191-8u191-b12-2ubuntu0.16.04.1-b12)

$ sudo update-alternatives --config java

There are 2 programs which provide 'java'.

Selection Command

-----------------------------------------------

*+ 1 java-1.8.0-openjdk.x86_64 (/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-0.amzn2.x86_64/jre/bin/java)

2 /usr/lib/jvm/openjdk-11.0.3+7/bin/java

Enter to keep the current selection[+], or type selection number: 2

$ java -version

openjdk version "11.0.3" 2019-04-16

OpenJDK Runtime Environment AdoptOpenJDK (build 11.0.3+7)

OpenJDK 64-Bit Server VM AdoptOpenJDK (build 11.0.3+7, mixed mode)

$ sudo update-alternatives --config javac

There are 2 programs which provide 'javac'.

Selection Command

-----------------------------------------------

*+ 1 java-1.8.0-openjdk.x86_64 (/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-0.amzn2.x86_64/bin/javac)

2 /usr/lib/jvm/openjdk-11.0.3+7/bin/javac

Enter to keep the current selection[+], or type selection number: 2

$ javac -version

javac 11.0.3

이후의 최신 버전은 위의 방법을 반복하여 버전업하면 됩니다. 이전 버전인 jdk8로 돌아가야 하면 update-alternatives –config를 다시 실행하여 jdk8을 선택하면 됩니다.