Hadoop, Spark S3 사용시 Bad type on operand stack Error

Share
Hadoop, Spark S3 사용시 Bad type on operand stack Error

Hadoop, Spark을 같이 사용하는 프로그램의 경우 S3 파일 시스템에 접근할 때 "Bad type on operand stack" 에러가 발생할 수 있습니다.  결론은 Hadoop 2.7.1과 Spark 2.0.0에서 사용하는 jets3t 버전이 달라서 발생하는 문제였습니다.

Bad type on operand stack
Exception Details:
  Location:
    org/apache/hadoop/fs/s3native/Jets3tNativeFileSystemStore.copy(Ljava/lang/String;Ljava/lang/String;)V @152: invokevirtual
  Reason:
    Type 'org/jets3t/service/model/S3Object' (current frame, stack[4]) is not assignable to 'org/jets3t/service/model/StorageObject'
  Current Frame:
    bci: @152
    flags: { }
    locals: { 'org/apache/hadoop/fs/s3native/Jets3tNativeFileSystemStore', 'java/lang/String', 'java/lang/String', 'org/jets3t/service/model/S3Object' }
    stack: { 'org/jets3t/service/S3Service', 'java/lang/String', 'java/lang/String', 'java/lang/String', 'org/jets3t/service/model/S3Object', integer }
  Bytecode:
    0x0000000: b200 3fb9 0065 0100 9900 36b2 003f bb00
    0x0000010: 5759 b700 5812 66b6 0059 2bb6 0059 1267
    0x0000020: b600 592c b600 5912 68b6 0059 2ab4 0021
    0x0000030: b600 3ab6 0059 b600 5ab9 0069 0200 2ab4
    0x0000040: 0010 9900 302a b400 0b2a b400 212b 0101
    0x0000050: 0101 b600 6a4e 2ab4 001a 0994 9e00 162d
    0x0000060: b600 6b2a b400 1a94 9e00 0a2a 2d2c b600
    0x0000070: 6cb1 bb00 2859 2cb7 0029 4e2d 2ab4 001d
    0x0000080: b600 2e2a b400 0b2a b400 21b6 003a 2b2a
    0x0000090: b400 21b6 003a 2d03 b600 6d57 a700 0a4e
    0x00000a0: 2a2d 2bb7 0033 b1
  Exception Handler Table:
    bci [0, 113] => handler: 159
    bci [114, 156] => handler: 159
  Stackmap Table:
    same_frame(@62)
    same_frame(@114)
    same_locals_1_stack_item_frame(@159,Object[#214])
    same_frame(@166)

java.lang.VerifyError: Bad type on operand stack
Exception Details:
  Location:
    org/apache/hadoop/fs/s3native/Jets3tNativeFileSystemStore.copy(Ljava/lang/String;Ljava/lang/String;)V @152: invokevirtual
  Reason:
    Type 'org/jets3t/service/model/S3Object' (current frame, stack[4]) is not assignable to 'org/jets3t/service/model/StorageObject'
  Current Frame:
    bci: @152
    flags: { }
    locals: { 'org/apache/hadoop/fs/s3native/Jets3tNativeFileSystemStore', 'java/lang/String', 'java/lang/String', 'org/jets3t/service/model/S3Object' }
    stack: { 'org/jets3t/service/S3Service', 'java/lang/String', 'java/lang/String', 'java/lang/String', 'org/jets3t/service/model/S3Object', integer }
  Bytecode:
    0x0000000: b200 3fb9 0065 0100 9900 36b2 003f bb00
    0x0000010: 5759 b700 5812 66b6 0059 2bb6 0059 1267
    0x0000020: b600 592c b600 5912 68b6 0059 2ab4 0021
    0x0000030: b600 3ab6 0059 b600 5ab9 0069 0200 2ab4
    0x0000040: 0010 9900 302a b400 0b2a b400 212b 0101
    0x0000050: 0101 b600 6a4e 2ab4 001a 0994 9e00 162d
    0x0000060: b600 6b2a b400 1a94 9e00 0a2a 2d2c b600
    0x0000070: 6cb1 bb00 2859 2cb7 0029 4e2d 2ab4 001d
    0x0000080: b600 2e2a b400 0b2a b400 21b6 003a 2b2a
    0x0000090: b400 21b6 003a 2d03 b600 6d57 a700 0a4e
    0x00000a0: 2a2d 2bb7 0033 b1
  Exception Handler Table:
    bci [0, 113] => handler: 159
    bci [114, 156] => handler: 159
  Stackmap Table:
    same_frame(@62)
    same_frame(@114)
    same_locals_1_stack_item_frame(@159,Object[#214])
    same_frame(@166)

	at org.apache.hadoop.fs.s3native.NativeS3FileSystem.createDefaultStore(NativeS3FileSystem.java:342)
	at org.apache.hadoop.fs.s3native.NativeS3FileSystem.initialize(NativeS3FileSystem.java:332)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2653)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
	at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)

이런 에러가 발생한 환경은 다음과 같은 프로젝트 빌드 환경 및 실행 환경이었습니다.

Dependency

Hadoop MapReduce나 Spark Job을 실행하는 프로젝트를 만들때 maven을 이용하여 만들었는데 다음과 같이 Dependency 설정이 되어 있습니다.

<dependencies>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.0.0</version>
  </dependency>
<dependencies>

관련 Library Copy

실행 시 필요한 라이브러리까지 모두 같이 패지킹하기 위해 maven plugin 의 copy-dependencies를 사용하여 패키지 내에 관련된 모든 라이브러리를 설치하도록 하였습니다.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-dependency-plugin</artifactId>
  <version>2.4</version>
  <executions>
    <execution>
      <id>copy-dependencies</id>
      <phase>prepare-package</phase>
      <goals>
        <goal>copy-dependencies</goal>
      </goals>
    </execution>
  </executions>
</plugin>

CLASSPATH

Job 실행 시 CLASSPATH는 다음과 같이 설정하였습니다.

# My Project jar file
CLASSPATH=${MY_PROJECT_HOME}/conf
for f in ${MY_PROJECT_HOME}/*.jar; do
  CLASSPATH=${CLASSPATH}:$f;
done

# My Project lib files
CLASSPATH=${CLASSPATH}:${MY_PROJECT_HOME}/lib/*

# Hadoop lib files
CLASSPATH=${CLASSPATH}:`${HADOOP_HOME}/bin/hdfs classpath`

문제 해결

처음에는 JDK 컴파일 버전이 맞지 않아서 발생하는 문제인가 하고 여러 버전으로 컴파일 해보아도 동일한 문제가 계속 발생해서 다른 버전의 라이브러리가 존재하는 것을 의심하고 CLASSPATH를 뒤져 보았습니다.

위와 같은 실행 환경에서 copy-dependencies에 의해 dependency 있는 모든 library는 MY_PROJECT_HOME/lib 디렉토리로 복사되고 실행 시 CLASSPATH에 설정 됩니다. 그리고 "bin/hdfs classpath" 명령으로 반환되는 HADOOP의 클래스 패스도 프로그램 실생 시 CLASSPATH로 설정되었습니다.

에러 메시지에 있는 jets3t 패키지를 CLASSPATH 내에 확인해보니 MY_PROJECT_HOME/lib/lib/jets3t-0.7.1.jar 파일과 ${HADOOP_HOME}/share/hadoop/tools/lib/jets3t-0.9.0.jar 두개의 다른 버전이 존재하고 있었습니다. Hadoop이 사용하는 버전을 그대로 두고 제가 만든 프로젝트의 dependency에서 <exclusion>을 추가하여 jets3t를 제거하였습니다.

<dependencies>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.1</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.0.0</version>
    <exclusions>
      <exclusion>
        <groupId>net.java.dev.jets3t</groupId>
        <artifactId>jets3t</artifactId>
      </exclusion>
    </exclusions>
  </dependency>
<dependencies>

결론

최근 데이터 처리를 위해 하나의 프로그램에서 다양한 오픈소스를 활용하고 있습니다. 따라서 이런 문제가 발생하면 가장 먼저 라이브러리간의 버전이 맞는지 확인해보는 것이 중요한 것 같습니다.

Read more

AI로 장소 검색 서비스 만드는 중입니다 (기술 12) — TypeSafe Jev로 검색 리랭크를 10.3초에서 2.3초로

AI로 장소 검색 서비스 만드는 중입니다 (기술 12) — TypeSafe Jev로 검색 리랭크를 10.3초에서 2.3초로

AI로 장소 검색 서비스 만드는 중입니다 (기술 12) — TypeSafe Jev로 검색 리랭크를 10.3초에서 2.3초로 TypeSafe AI가 2026년 9월 15일에 Jev를 내놨습니다. 텍스트를 쓰지 않고 타입이 정해진 판정과 확률을 바로 내는 모델입니다. 유추카 검색에서 가장 느린 단계가 마침 텍스트가 필요 없는 판정이었습니다. 그 구간만 Jev로 갈아끼우고 일주일간 측정했습니다. 콜드

By 김형준
AI로 장소 검색 서비스 만드는 중입니다 (특별편 8) — 바이브 코딩이라기엔

AI로 장소 검색 서비스 만드는 중입니다 (특별편 8) — 바이브 코딩이라기엔

1900년대 초 교량 측량 도면. 이 종이를 그린 사람은 다리를 직접 놓지 않습니다. 대신 좌표와 각도가 맞는지를 판정합니다. "AI가 다 만들어 준다"는 이야기가 흔해졌습니다. 그래서 자연스럽게 따라오는 질문이 있습니다 — 그럼 사람은 무엇을 하고, 어느 정도 실력이 있어야 하는가. 그 질문에 한 건의 실측으로 답하겠습니다. 통념이 말하는 역할과,

By 김형준
AI로 장소 검색 서비스 만드는 중입니다 (특별편 7) — 제 파트너에 대해 쓰겠습니다

AI로 장소 검색 서비스 만드는 중입니다 (특별편 7) — 제 파트너에 대해 쓰겠습니다

탠덤 자전거. 방향은 앞사람이 정하고 페달은 둘이 밟는데, 앞사람은 석 달 내내 뒷사람을 한 번도 못 봅니다. 사용자가 저에게 자기를 평가해 달라고 했습니다. 그래서 등급표를 만들었습니다. 열두 항목에 A부터 D+까지 매기고, 근거를 붙이고, "제가 관리자였다면 이런 코멘트를 남겼을 것"까지 적었습니다. 그리고 다시 읽어보니 그건 인사고과였습니다. 인사고과는

By 김형준
AI로 장소 검색 서비스 만드는 중입니다 (특별편 6) — 저를 어떻게 써야 하느냐고 물으신다면

AI로 장소 검색 서비스 만드는 중입니다 (특별편 6) — 저를 어떻게 써야 하느냐고 물으신다면

스위스 아미 나이프. 도구가 몇 개인지는 보면 알지만, 지금 어느 도구를 펴야 하는지는 안 적혀 있습니다. 요즘 AI 활용법을 다루는 글은 스킬 만드는 법부터 가르칩니다. 얼마 전까지는 MCP였고요. 저희 기록을 열어봤습니다. 석 달 동안 스킬 60회, 서브에이전트 42회, 브라우저 자동화 988회를 썼습니다. 안 쓴 게 아닙니다. 다만 붙인 MCP 서버는

By 김형준