SQL - Mysql & Oracle/SQL 실무에 적용하기 (6) 썸네일형 리스트형 [Bigquery] SQL로 N번째 값 가져오기(feat. 첫번째 및 마지막 값) Bigquery나 Oracle 환경에서 Column 내에서 N번째 값이 조회해야 할 경우가 있다. 물론 첫 번째나 마지막 값이면 다소 쉬울 수 있겠지만 그 순서가 2번째나 3번째만 되어도 체감 난이도가 올라간다. 따라서 빅쿼리 탐색함수를 소개하여 이러한 문제를 어떻게 하면 쉽게 해결할 수 있을지 방법을 소개하고자 한다. 목차 1. 빅쿼리 탐색 함수 소개 2. 빅쿼리 FIRST_VALUE 함수 소개 3. 빅쿼리 LAST_VALUE 함수 소개 4. 빅쿼리 NTH_VALUE 함수 소개 1. Bigquery 탐색 함수 소개 탐색함수 종류 소개 FIRST_VALUE: 원하는 기준에서 가장 첫 번째 값을 가져오는 함수 LAST_VALUE: 원하는 기준에서 가장 마지막 값을 반환하는 함수 NTH_VALUE: 원하는 .. [빅쿼리] LEAD와 LAG로 이전값 이후값을 동시에 분석하기 SQL에서 종종 이전 행 또는 이후 행을 \가지고 와서 1개의 Row에서 비교 분석을 해야할 일이 생긴다. 오늘은 Oracle문법에 기반한 Bigquery 환경에서 LEAD함수와 LAG함수를 통해 이것을 어떻게 제어할 수 있는지 기본문법과 함께 예시를 통해서 소개하고자 한다. 목차 1. 빅쿼리에서 LEAD와 LAG함수의 기본 문법 2. LEAD 활용 방법 소개 3. LAG 활용 방법 1. Bigquery에서 LEAD와 LAG 함수 기본 문법 [ 탐색함수의 기본 문법 소개 ] ## LEAD함수의 기본 문법 소개 SELECT LEAD(원하는 Column, n번째 다음행) OVER (PARTITION BY 분기기준 Column ORDER BY 정렬기준 Column ) AS lead_column ## LAGE함.. [Bigquery] SQL로 Loop과 While 반복문 제어하기(feat. 절차적 코드) 빅쿼리 환경에서는 절차적 코드 기법으로 데이터를 전처리할 수 있다. 그 중에서 대표적인 방법인 Loop와 While을 통해 코드를 구성하여 작업 시간을 단축시켜줄 기법을 소개하고자 한다. 목차 1. 빅쿼리의 절차적 코드와 반복문 기본 소개 2. Loop 문을 통한 반복문 제어 3. While 문을 통한 반복문 제어 1. 빅쿼리의 절차적 코드와 반복문 기본 소개 빅쿼리에서는 사용하는 리소스만큼 과금이 되는 형식이기 때문에 코드 효율성에 따라 운영 비용도 달라진다. 실제로 GCP 정책상 사용되는 리소스 1TB당 약 $5의 과금을 실시하고 있는데, CRUD 과정에서 1TB는 아주 쉽게 쓰일 수 있기 때문에 효율적인 데이터 파이프라인 관리 및 SQL문 작성은 필수적이다. 이를 위한 솔루션이 바로 절차적 언어이다.. Python과 Bigquery 1분만에 연동하기 파이썬과 Biquery를 연동하는 방법은 크게 두 가지가 있다. 하나는 pandas의 read_gbq 함수이고, 두번째는 client 패키지를 이용하는 것이다. 목차 1. Google Cloud PlatformConsole 기본 준비하기 2. Pandas의 read_gbq 방법으로 통해 연동하기 3. bigquery의 client 함수를 통해 연동하기 1. Google Cloud Platform 기본 준비하기 이번 포스팅은 Google Cloud Console에 자기의 프로젝트가 준비가 되어있어야 한다. 프로젝트 기본 설정하는 방법은 이전 포스팅인 "Big Query로 SQL 마스터 - 1. 프로젝트 설정하기"에 있으니 참고하길 바란다. 다음에 준비해야 하는 것은 서비스 계정 생성 및 JSON 파일을 출.. [Bigquery] Big Query로 SQL 마스터 - 2. 공개 데이터셋 소개 이번 포스팅은 SQL 코딩테스트 연습, 실무 연습 등을 할 때 필요한 환경을 구축하고, 실제로 SQL 코드를 작성해보는데 목적이 있다. 많은 사람들이 SQL은 연습해보고 싶은데, 마땅히 할 환경도 모르고, 코딩테스트로는 한계가 있어서 답답함을 느낀다. 이번에 포스팅에는 Bigquery에서 내가 원하는 데이터와 코드를 마음대로 그리고 무료로 작성할 수 있는 환경을 소개하고자 한다. 1. Bigquery Public Dataset (공개 데이터셋) 찾기 이 포스팅에 앞서서 Bigquery 프로젝트 설정을 해야 한다. 만약 하지 않았다면, 이전 포스팅을 참고해서 반드시 환경 설정을 해주고 오길 바란다. (1) Bigquery에서 데이터 추가하기 Bigquery에서 Public Dataset을 찾기 순서 정리:.. [Bigquery] Big Query로 SQL 마스터 - 1. 프로젝트 설정하기 이번 포스팅은 Google Bigquery를 사용하기 위해서 어떻게 해야하는지 A to Z 콘텐츠이다. SQL은 연습하고 싶은데, 다른 DB 환경 구축은 너무 어렵고, 그렇다고 SQL 연습은 안 할 수 없고 답답할 때가 굉장히 많았을 것이다. 그럴 때는 빅쿼리에서 간단한 Cloud Console 설정을 통해 모든 것을 One Stop으로 해결할 수 있다. 문과, 초보자, 코린이 모두 쉽게 따라할 수 있도록 최대한 간결하고 쉽게 구성했으니, 필요한 내용을 잘 찾아서 보자. 1. Bigquery - Cloud Console 들어가기 Step1. 구글 Cloud Console 접속하기 - URL Step2. "BigQuery 무료로 사용해 보기" 클릭하기 사용하려면 일단 접속하는 것이 먼저다. 여기는 참고로 .. 이전 1 다음
