Happy Coding Lab
Happy Coding Lab，分享平日 Coding 的各種知識分享，快樂學習、快樂成長。
GCP系列-使用 Dataproc initialization actions 安裝 python package GCP系列-使用 Dataproc initialization actions 安裝 python package
本範例將會教授如何使用 dataproc initialization actions 來安裝 python package 於 cluster，就可以在 launch spark 時安裝套件至每一台 worker 上面。
2019-12-09 GCP
GCP Dataproc pyspark
keras系列 - keras model部署與序列化於spark進行預測 keras系列 - keras model部署與序列化於spark進行預測
Keras 先天設計上無法序列化 (serialize)，只能在單機上使用 (利用cpu 或 gpu)。但我又有需要大量預測的需求，基本上查詢的到的方法都會有個類序列化的方式，將 model 傳遞到每個 worker上，達到分散的目的，本文將記錄嘗試的各種方式。
2019-11-29 keras
pyspark keras serialize spark
NLP 系列 - Tensorboard 視覺化 word2vec 詞向量 NLP 系列 - Tensorboard 視覺化 word2vec 詞向量
word2vec 的應用已經相當的的普及，但是該模型為向量組成，充滿了一般人腦袋不可理解的維度與空間，此文章將利用 Tensorboard 將模型的向量投射到多維空間中，可以清晰地看得出詞與詞之間的相依關係。
2019-11-26 NLP
word2vec nlp tensorboard
pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學 pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學
想要使用 lit 增加欄位時，如果增加的是一個 array，spark 將會拋出錯誤 Unsupported literal type class java.util.ArrayList。本文章將簡單的示範該如何解決此問題。
2019-11-26 pyspark
pyspark lit arraylist
pyspark系列 - 如何傳遞所有 column 給 UDF 實例 pyspark系列 - 如何傳遞所有 column 給 UDF 實例
當參數稍微多一點時，傳遞參數到UDF就會寫的非常的長，也很不美觀，寫一個簡單的範例來解決此問題。
2019-11-21 pyspark
pyspark udf
使用 Docker 建立JupyterHub 與 OAuth 憑證安裝流程 使用 Docker 建立JupyterHub 與 OAuth 憑證安裝流程
簡易使用 Docker 安裝 JupyterHub，並且使用 Google oauth 作為登入方式。
2019-11-18 Jupyterhub
GCP jupyterhub docker oauth
Github-SSH Deploy key 設定教學 Github-SSH Deploy key 設定教學
簡易設定 Deploy keys 於 github 的流程來解決 Permission denied (publickey)問題。
2019-11-15 GitHub
github Deploy keys
GCP系列-如何使用 tracking UI 監控pyspark叢集 memory資源使用狀態於 Dataproc 中 GCP系列-如何使用 tracking UI 監控pyspark叢集 memory資源使用狀態於 Dataproc 中
The way to use TrackingUI of Google Cloud Platform (for Mac OS X)
2019-11-15 GCP
GCP Dataproc TrackingUI memory pyspark
4 / 4