文章歷程 | Happy Coding Lab

2019

12

09

本範例將會教授如何使用 dataproc initialization actions 來安裝 python package 於 cluster，就可以在 launch spark 時安裝套件至每一台 worker 上面。

2019-12-09 GCP

GCP Dataproc pyspark

11

29

Keras 先天設計上無法序列化 (serialize)，只能在單機上使用 (利用cpu 或 gpu)。但我又有需要大量預測的需求，基本上查詢的到的方法都會有個類序列化的方式，將 model 傳遞到每個 worker上，達到分散的目的，本文將記錄嘗試的各種方式。

2019-11-29 keras

pyspark keras serialize spark

26

word2vec 的應用已經相當的的普及，但是該模型為向量組成，充滿了一般人腦袋不可理解的維度與空間，此文章將利用 Tensorboard 將模型的向量投射到多維空間中，可以清晰地看得出詞與詞之間的相依關係。

2019-11-26 NLP

word2vec nlp tensorboard

26

想要使用 lit 增加欄位時，如果增加的是一個 array，spark 將會拋出錯誤 Unsupported literal type class java.util.ArrayList。本文章將簡單的示範該如何解決此問題。

2019-11-26 pyspark

pyspark lit arraylist

21

當參數稍微多一點時，傳遞參數到UDF就會寫的非常的長，也很不美觀，寫一個簡單的範例來解決此問題。

2019-11-21 pyspark

pyspark udf

18

簡易使用 Docker 安裝 JupyterHub，並且使用 Google oauth 作為登入方式。

2019-11-18 Jupyterhub

GCP jupyterhub docker oauth

15

簡易設定 Deploy keys 於 github 的流程來解決 Permission denied (publickey)問題。

2019-11-15 GitHub

github Deploy keys

15

The way to use TrackingUI of Google Cloud Platform (for Mac OS X)

2019-11-15 GCP

GCP Dataproc TrackingUI memory pyspark