Apache Zeppellin 0.9.0 - Dynamic Form에서 Python 을 실행하면 오류가 발생한다??!

하아... 진짜.. 이거 오픈소스라고 하지만..

너무너무 귀찮은 일들이 자꾸 생긴다..

심지어 메뉴얼에 있는 걸 갖다가 붙여도 오류가 남..

이 오픈소스 관리하는 쉐리는 검증은 하고 올리는 건가...

%pyspark 인터프리터 쓰면.. 일단 안됨!

%python으로 변경해야 하며, 실행해도 type 관련 오류가 발생함..

일단.. 개발 환경은

Ubuntu 20.4 LTS + Apache Zeppelin 0.9.0 preview 1

구글링해서 본 글은 거의 다 쓰레기...

결국 찾아냄..

https://stackoverflow.com/questions/63754720/apache-zeppelin-issues-python-errors

요약하면.. 0.9.0 preview 2에서 버그가 있는데.. python 3.8에선 호환이 안된다는 거임..

Ubuntu 20.4 LTS 기본이 3.8을 사용하는 지라.. 다운드레이드를 할까 하다가..

그냥 설치하고.. interpreter 설정에 python 경로를 넣는 곳에 3.7을 지정하는 걸로 해결.

설치 할 줄 모르는 냥반들을 위한 코드 투척..

1. sudo add-apt-repository ppa:deadsnakes/ppa
2. sudo apt-get update
3. sudo apt-get install python3.7

설치하고 Zeppelin의 interpreter 설정에서 zeppelin.python 항목을 python 3.7 이 깔린 경로로 넣어주자 (bin이 들어간 경로 넣으면 됨)

참고로.. 다운그레이드 후 pyspark 써 봤으나.. 동일하게 오류 발생..

(걱정말라구!! 이 글을 본 사람이 한 삽질은 내가 다 먼저 했다규!!! ㅜ_ㅜ)

그나저나.. 생각보다.. 너무 삽질을 많이해서.. 짜증이 그냥.....

끗!

Apache Zeppelin에서 jdbc 연동시 조회할때 TLS 관련 오류 발생

0. 현재 개발환경

    - OS : Ubuntu 20.4

    - Main DB : SQL Server on Linux 2019 Express

    - 보조 DB : SQL Server 2008, SQL Server 2014

    - Java : Apache Zeppelin 권장 버전 (OPENJDK 1.8)

1. 보다시피 버전차이가 엄청 남.

2. Zeppelin에 jdbc (9.2.1) 연결을 했을때, SQL Server 2014는 아무 문제가 없음

3. SQL Server 2008에 연결시 TLS 버전을 지원 안한다는 오류 발생함.

4. 해당 서버 버전의 TLS 1.0 프로토콜이 너무 오래되서 지원을 안함.

5. 일단.. 해당 서버의 OS인 Windows 2008 R2에 TLS 1.1 / TLS 1.2 설정을 해줌.

6. 동일 에러 발생 - SQL Server 2008 자체에서 TLS 1.0 통신만 지원하는 것으로 판단.

7. jdbc 4.2를 쓰면 된다는 개소리 믿고 삽질하다가.. 다음과 같은 글 발견..

https://blog.naver.com/PostView.nhn?blogId=hgp33&logNo=221293449287&from=search&redirect=Log&widgetTypeCall=true&directAccess=false

8. 뭐 내용은 Java jdbc 보안문제로 동일함.

9. 문득 깨닮음을 얻은 나는 Ubuntu의 JRE에 있는 security 설정을 건들면 되겠다는 생각이 듬.

10. 저 링크에는 싹 지우라고 했지만... 글 자체가 3년이 넘은지라.. 

    내 목적인 TLS 관련 부분만 지움..

    jdk.tls.disabledAlgorithms 에서 TLS 1.0, TLS 1.1을 지워주자..

11. 당근 바로 안된다.. 서버 재부팅!!!

12. 해결!

13. 끗! 뭘봐!

Ubuntu 20.04.2 LTS에 Apache Zeppelin 설치 삽질기....

지난번에 Apache Zeppelin을 간편하게.. docker를 활용하여 설치했었음.

이젠 big data를 정식으로 개발해야 해서 실제 운영할 서버에 docker 말고..

ubuntu 20.04.2 LTS에 설치를 함...

역시나.. 언제나 그러하듯... 젠장.....

삽질 시작...

1. 처음엔... Apache Zeppelin의 메뉴얼에 있는대로 하자.. 기다렸다는 듯이.. 에러 뿜음..

2. 로그보니.. 디렉토리들.. 생성권한이 없어서 그런듯 하여.. sudo로 해결하거나 그냥 생성해주고 돌림..

3. 잘 돌아간거 같은데.. 아무리 접속해도 안뜬다 싶어서 얘는 방화벽을 어떻게 쓰나 보니 ufw 명령어를 쓰면 됨..

4. 이래저래 뒤져서 방화벽 열고, 돌렸는데... 아무리해도 연결 거부가 나옴..

5. 똑똑한 나는, 이거슨 안 올라온게 아니고, 방화벽이 하는 짓꺼리여~~ 라고 생각하며 iptables 로 어떻게든 해보려 했으나.. 달라진게 없음..

6. nc -l -p 포트번호 나 sudo netstat -tulpn | grep 포트번호 해도 포트는 이상없이 오픈 된 것으로 보임..

7. 그러다가... netstat 결과에서 127.0.0.1:포트번호 만 열려있는 것을 확인함..

8. 다시 Apache Zeppelin 메뉴얼 뒤지니... 서비스 할 IP를 지정하는 환경설정 발견..

9. conf 밑에 있는 zeppelin-site.xml.template 파일로 zeppelin-site.xml 생성한 다음 안에 있는 zeppelin.server.addr 속성값을 서버의 IP로 변경하니.. 해결..

 - 내용추가 : 그냥 모든 IP 접속 가능하게 0.0.0.0 으로 설정하면 됨!

10. 여기까지 오는데 5시간 걸림...

11. 삽질은 계속된다.. 쭈욱~~~~