文章歷程 | Happy Coding Lab

Happy Coding Lab

Happy Coding Lab

Happy Coding Lab，分享平日 Coding 的各種知識分享，快樂學習、快樂成長。

Happy Coding Lab

Happy Coding Lab，分享平日 Coding 的各種知識分享，快樂學習、快樂成長。

2020

02

19

Flask 系列 - Flask error handling 教學(ㄧ)

Flask 系列 - Flask error handling 教學(ㄧ)

Flask 是相對輕量的架構，寫起來簡單易懂好上手，不過在遇到 exception 的時候，是不是很常發生收到 400,500 等等的 http 代碼卻還是不知道到底錯在哪？本文將會快速的為你示範如何處理flask 的 error handling 問題。

2020-02-19 flask

error handling flask exception traceback

05

MAC terminal 的常用快捷鍵分享

MAC terminal 的常用快捷鍵分享

日常寫 code 常常會用到 terminal，但是剛開始從 windows 切換使用 mac 時的快捷鍵真的會使用的一頭霧水，特別是想要針對指令很長的程式進行修改的時候，下列就稍微來分享間單的常用的操作。

2020-02-05 tools

快捷鍵 hot key mac terminal vim

01

10

pyspark 系列- 於pyspark中不同column的array操作intersect

pyspark 系列- 於pyspark中不同column的array操作intersect

本篇將會分享如何針對兩個 column 的 array 進行 `intersect`，其中包含找到重複值 `array_intersect ` 以及找到不重複值的 `array_except`。

2020-01-10 pyspark

pyspark intersect array_intersect array_except

2019

12

19

GCP 系列- GCE 的 --metadata-from-file startup-script 沒有被執行

GCP 系列- GCE 的 --metadata-from-file startup-script 沒有被執行

在 GCP 中的 GCE 建立 VM 時常會有要順便安裝或設置的套件與服務的需求，並將其打包成一個 script 送過去，但是時常會發生機器啟動後卻沒有順利地被安裝。最直接的原因就是 script 出錯或是根本沒被執行，以下提供快速簡單的方法查證自己的 startup script 到底在哪裡出錯了。

2019-12-19 GCP

GCE

12

pyspark 系列 - collect_list 與 collect_set 實例教學

pyspark 系列 - collect_list 與 collect_set 實例教學

How to use collect_list & collect_set in pyspark dataframe?在使用 spark 操作 data

2019-12-12 pyspark

pyspark collect_list collect_set

09

GCP系列-使用 Dataproc initialization actions 安裝 python package

GCP系列-使用 Dataproc initialization actions 安裝 python package

本範例將會教授如何使用 dataproc initialization actions 來安裝 python package 於 cluster，就可以在 launch spark 時安裝套件至每一台 worker 上面。

2019-12-09 GCP

GCP Dataproc pyspark

11

29

keras系列 - keras model部署與序列化於spark進行預測

keras系列 - keras model部署與序列化於spark進行預測

Keras 先天設計上無法序列化 (serialize)，只能在單機上使用 (利用cpu 或 gpu)。但我又有需要大量預測的需求，基本上查詢的到的方法都會有個類序列化的方式，將 model 傳遞到每個 worker上，達到分散的目的，本文將記錄嘗試的各種方式。

2019-11-29 keras

pyspark keras serialize spark

26

NLP 系列 - Tensorboard 視覺化 word2vec 詞向量

NLP 系列 - Tensorboard 視覺化 word2vec 詞向量

word2vec 的應用已經相當的的普及，但是該模型為向量組成，充滿了一般人腦袋不可理解的維度與空間，此文章將利用 Tensorboard 將模型的向量投射到多維空間中，可以清晰地看得出詞與詞之間的相依關係。

2019-11-26 NLP

word2vec nlp tensorboard

26

pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學

pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學

想要使用 lit 增加欄位時，如果增加的是一個 array，spark 將會拋出錯誤 Unsupported literal type class java.util.ArrayList。本文章將簡單的示範該如何解決此問題。

2019-11-26 pyspark

pyspark lit arraylist

21

pyspark系列 - 如何傳遞所有 column 給 UDF 實例

pyspark系列 - 如何傳遞所有 column 給 UDF 實例

當參數稍微多一點時，傳遞參數到UDF就會寫的非常的長，也很不美觀，寫一個簡單的範例來解決此問題。

2019-11-21 pyspark

pyspark udf

            
3 / 4