Vector Embeddings
·
BigData
벡터의 기본 개념벡터란?크기와 방향을 가진 수학적 객체n차원 공간에서 한 점을 나타내는 좌표값들의 집합예: 2차원 벡터 [3,4], 3차원 벡터 [1,2,3] 백터 임베딩 개념과 필요성기존 시스템의 한계비정형 데이터 처리의 어려움: 기존 시스템은 주로 구조화된 데이터(예: 표 형식 데이터)에 최적화되어 있어, 텍스트, 이미지, 음성, 동영상 등과 같은 비정형 데이터를 효과적으로 처리하는 데 한계가 있음.정보 추출의 어려움: 비정형 데이터는 의미가 명확하게 구조화되어 있지 않기 때문에, 필요한 정보를 추출하거나 데이터 간의 관계를 이해하는 것이 어려움.대량의 데이터 처리: 비정형 데이터는 매우 크고 다양한 형태로 존재하므로, 이를 효율적으로 저장하고 처리하는 데 많은 시간과 리소스가 소모됨. 또한, 시간에..
KISTI 뉴론(Neuron) Conda SLURM 스케쥴러 작업
·
BigData
뉴론은 무엇인가뉴론은 KISTI에서 운영하는 대한민국의 슈퍼컴퓨터로, 대규모의 과학적 계산과 복잡한 데이터 분석 작업을 지원하기 위해 설계되었습니다. 2018년에 도입된 이 슈퍼컴퓨터는 고성능 연산을 위해 최첨단 기술을 통합하고 있습니다. 저는 로그 분석을 통한 보안 위험도 예측 AI 경진대회의 학습을 목적으로 사용하였습니다.https://dacon.io/competitions/official/235717/overview/description 로그 분석을 통한 보안 위험도 예측 AI 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io Conda 환경 구축Conda 환경 구축은 아래의 KISTI의 뉴론 지침서를 참고하여 진행하였습니다.https:..