MySQLでヌル文字(NUL)などの制御文字が含まれている文字列を探す方法のメモ

ヌル文字(NUL) の判定 MySQLではnull文字は '\0' や CHAR(0) で表せますなのでヌル文字を含む文字列は文字列 LIKE '%\0%' のような感じで判定できます(他の文字列系の関数でもよいはず) mysql> SELECT CHAR(0) LIKE '%\0%'; +---------------------+ | CHA…

2018-10-09

BigQueryのSTRUCT型やARRAY型で無理やりGROUP BYで集計する

BigQuery

BigQueryではSTRUCT(構造体)型やARRAY(配列)型が使えますデータ型 | BigQuery | Google CloudSTRUCT型のカラムでGROUP BYしようとするとGrouping by expressions of type STRUCT is not allowed atのようなエラーが出てきて実行することができません同様に…

2018-09-23

BigQuery MLの変数に適用してくれる前処理の調査 / 学習された重みは標準化後の値に対する重みなのか？ / nullの扱いは？

BigQuery

BigQueryにBigQuery MLという機械学習の機能が追加されました。今はロジスティック回帰による分類と線形回帰による回帰問題について学習ができるようです学習時に変数に対してどのような前処理が行われるのか気になったので調べてみました誤りなどがあった…

2018-08-16

PHPで、ある配列の中身をn回繰り返した配列を作る

php

PythonやRubyだと[1, 2] * 3と書くと[1, 2]を3回繰り返した配列[1, 2, 1, 2, 1, 2]が得られますこれをPHPで簡単に書く方法がないか考えてみました二重のforループで配列に足していく方法最初に自明な方法の二重のforループで足していく方法を書いておきま…

2018-07-15

BigQueryで整数(INT64型)や浮動小数点数(FLOAT64型)をバイト列(BYTES型)にキャストする

BigQuery

整数(INT64型)や浮動小数点数(FLOAT64型)をBYTES型にしたかったので自前で処理をUDFとして書きました BigQueryのCAST関数でBYTES型にキャストでできるのはBYTES型自身とSTRING型に限られているので、他の型を変換したいときには自分で処理を書く必要がありま…

2018-07-01

BigQuery で _TABLE_SUFFIX をビューやWITH句の外側から指定する

BigQuery

BigQueryのクエリでテーブル名の末尾に日付などを入れておいて _TABLE_SUFFIX のカラムの条件で利用するテーブルを絞り込みたい時に、_TABLE_SUFFIXの条件をビューやWITH句の外側から書いてみる話です

2018-06-18

BigQueryでPHPのシリアライズされた形式の変数の中身を取得する

BigQuery

残念なことにDBにJSONなどではなくPHPでシリアライズされた形式でデータが保存されていることがありますこの中身をBigQuery側から参照したかったので調べてみました軽く検索したところJavaScriptでPHPのシリアライズされたデータをもとに戻せるライブラリは…

2018-06-17

BigQueryで素数や高度合成数の列挙をSQLで計算(実用性はない)

素数列挙以前書いた記事では\(10^4\)ぐらいのオーダーまでしか素数を列挙できませんでしたが、クエリを工夫して\(10^7\)ぐらいまでは行けるようになりました sucrose.hatenablog.com 以前のクエリ上の記事に書いた試し割りによる\(10^4\)個ぐらいまでが限…

2018-06-16

BigQueryのGENERATE_ARRAY関数で個数が多い等差数列を作る

BigQuery

GENERATE_ARRAY(start_expression, end_expression[, step_expression])関数を使うと連番の数値(等差数列)を作ることができますリファレンスしかし一度に作る個数が多いとError: GENERATE_ARRAY(1, 10000000, 1) produced too many elementsのようにエラー…