nestしたデータフレームの扱い

nestしたデータフレームを扱い方(メモ用)

library(tidyverse)
iris %>% 
  group_by(Species) %>% 
  nest() %>%
  mutate(data = map2(data, Species, ~mutate(.x, Species_index = as.numeric(.y)))) %>%
  mutate(id = seq(1,3)) %>% 
  mutate(data = map2(data, id, ~slice(.x, seq.int(.y)))) %>% 
  mutate(MeanSepalLength = map_dbl(data, ~pull(.x, Sepal.Length) %>% mean))

上記の結果以下のデータを得ることができる。

  Species    data                id MeanSepalLength
  <fct>      <list>           <int>           <dbl>
1 setosa     <tibble [1 x 5]>     1            5.1 
2 versicolor <tibble [2 x 5]>     2            6.7 
3 virginica  <tibble [3 x 5]>     3            6.40

ルート探索

# 必要なライブラリのロード
library(tidyverse)
library(sf)
library(mapview)
library(stplanr)
library(OpenStreetMap)

# 2地点間のポイントデータ作成
sfd = 
  tribble(~lat,~lon,~location,
          36.075411, 136.212213,"福井大学",
          36.062244, 136.223214, "福井駅") %>% 
    st_as_sf(coords = c("lon", "lat"), crs = 6668)
# linestringへ変換
sf_line = 
  sfd %>% 
  st_combine() %>% 
  st_cast("LINESTRING") %>% 
  st_sf(a = 1)

# ラインからルートデータへの変換
line2route(sf_line, "route_osrm") %>% 
  mapview()

f:id:jerrarrdan:20181113225205p:plain

library(ggspatial)
sf_route = line2route(sf_line, "route_osrm")
ggplot(sf_route) +
  annotation_map_tile(zoomin = 0) +
  geom_sf()

f:id:jerrarrdan:20181113224409p:plain

upperLeft = st_bbox(sf_route) %>% as.vector() %>% .[c(2, 1)]
lowerRight = st_bbox(sf_route) %>% as.vector() %>% .[c(4, 3)]
osmap = OpenStreetMap::openmap(upperLeft = upperLeft,
                               lowerRight = lowerRight,
                               type = "stamen-toner",
                               mergeTiles = T) 
osmaplocation = OpenStreetMap::openproj(osmap, st_crs(sfd)$proj4string)
autoplot(osmaplocation) + 
  geom_path(data = 
              st_coordinates(sf_route)[,1:2] %>% 
              as.data.frame() %>%
              `colnames<-`(c("x", "y")),
            color="blue", size = 3)

f:id:jerrarrdan:20181113224431p:plain

GeoPackageが便利

GISで利用するデータのファイル形式について、 これまでいろいろな不満がありながらも、 そのほかの代替手段を知らずやむを得ずシェープファイルを利用していた。

たまたま、sfパッケージの入出力 について調べていたら、GeoPackageというファイル形式があること知った。

少し調べたところ、最近普及し始めているようなのでメモ。

参考としたWebSite

GeoPackageでポータブルOSMは約2年前(2016年)に書かれた記事である。 シェープファイルを利用していて常に悩まされていることが書かれており、 大体のファイル形式としてGeoPackageが挙げられている。

以下のような悩みが解決されるらしい。

  • 文字コードによる文字化け
  • ファイルが1つ(.gpkg)だけ
  • 列名の文字数

既にQGISArcGIS、GDAL/OGRで利用できるらしい。 また、QGIS3.0からは保存の際のデフォルトのファイル形式になるらしい。 ということで、全然動向を知らなかったが、GeoPackageに移行する時期に 既になっているらしいので、どんどん使っていこうと思う。

sf vignette 6

Rのsfパッケージの vignette6について、 これまでのvignetteで書けなかったことなどを雑多に書いてあるので、 あまりまとまりがない感じである。

EPSGとは

EPSGは空間座標参照システムとしてよく知られており、 IOGP (International Association of Oil & Gass Producers)によってメンテナンスされている。 下記の関数を利用することでEPSG一覧を見ることができる。

rgdal::make_EPSG()

sfで第二のgeometry columnを扱うには

sfオブジェクトは一つ以上のgeometry list-columnを持つことができるが、有効となるのは一つだけであり、 st_geometry()関数によって取得できる。 printメソッドを利用することでgeometry columnが有効か確認することができる。

library(sf)
demo(nc, ask =F, echo = F)
nc$geom2 = st_centroid(st_geometry(nc))
print(nc, n = 2)
Simple feature collection with 100 features and 14 fields
Attribute-geometry relationship: 0 constant, 8 aggregate, 6 identity, 1 NA's
Active geometry column: geom
geometry type:  MULTIPOLYGON
dimension:      XY
bbox:           xmin: -84.32385 ymin: 33.88199 xmax: -75.45698 ymax: 36.58965
epsg (SRID):    4267
proj4string:    +proj=longlat +datum=NAD27 +no_defs
First 2 features:
   AREA PERIMETER CNTY_ CNTY_ID      NAME  FIPS FIPSNO CRESS_ID BIR74
1 0.114     1.442  1825    1825      Ashe 37009  37009        5  1091
2 0.061     1.231  1827    1827 Alleghany 37005  37005        3   487
  SID74 NWBIR74 BIR79 SID79 NWBIR79                           geom
1     1      10  1364     0      19 MULTIPOLYGON (((-81.47276 3...
2     0      10   542     3      12 MULTIPOLYGON (((-81.23989 3...
                       geom2
1  POINT (-81.49826 36.4314)
2 POINT (-81.12515 36.49101)

geometry columnを変更するにはst_geometry<-またはst_set_geometry関数を利用する。

plot(st_geometry(nc))

f:id:jerrarrdan:20180224104751p:plain

st_geometry(nc) <- "geom2"
plot(st_geometry(nc))

f:id:jerrarrdan:20180224104912p:plain

st_simplifyでのトポロジー関係の維持について

st_simpligyトポロジー保持する関数であるが、これは個々のfeature geometrieで行われる。 つまり、ポリゴンに対して実行したものはポリゴンとなる。 しかし、2つのfeaturesが境界を共有しているときにst_simplifyを実行した場合には2つのポリゴンが同じ境界を共有しているとは限らない。これは個々のポリゴンごとに単純化が行われるためである。

sfオブジェクトに対してdplyr verbsが使えない

多くの開発者はパッケージをロードせずに、sf::のように関数の属するパッケージを明示して下記のように記述する。

i = sf::st_intersects(sf1, sf2)

しかし、sfオブジェクトに対して、dplyr::selectは利用できません。 このケースではsfパッケージをロードする必要がある。

表示されるerror/warning/messageについて

座標系は緯度経度であるが xxxは平面を仮定しています(although coordinates are longitude/latitude, xxx assumes that they are planar)

sfで利用されるgeometryに関する計算においてはGEOSライブラリを利用している。このライブラリは2次元のフラットなユクリッド距離の空間座標を考慮する。しかし、例えば極を含む緯度経度データを扱い場合にはこれだけでは不十分です。

下記に例を示すが、これは間違った結果を返すこととなる。

polygon = st_sfc(
  st_polygon(
    list(rbind(c(0, 80), c(120, 80),
               c(240, 80), c(0, 80)))), 
  crs =4326)
pole = st_sfc(st_point(c(0, 90)), crs = 4326)
st_intersects(polygon, pole)
Sparse geometry binary predicate list of length 1, where the predicate was `intersects'
 1: (empty)

st_centroidは緯度経度データに対しては正しい値を返しません(

st_centroid does not give correct centroids for longitude/latitude data)

先ほどの例と同じですが、中心は2次元空間を前提としています。

st_centroid(polygon)[[1]]

この場合中心は極である必要があります。

距離は10進数を前提としています(

dist is assumed to be in decimal degrees (arc_degrees).)

このメッセージはsfでは距離の値が度で与えられていることを示しています。このメッセージを避けるには正しいユニット(単位)を与えてやる必要があります。

pt = st_sfc(st_point(c(0,0)), crs = 4326)
buf = st_buffer(polygon, 1)
buf = st_buffer(polygon, units::set_units(1, degree))

両方の式のオペランドがunitオブジェクトもしくはアトミックベクトルである必要があります(

both operands of the expression should be "units" objects or _Error: $ operator is invalid for atomic vectors")

このメッセージはsfパッケージをロードした後にspatstatパッケージをロードした時に現れる。パッケージ単位で作成された単位オブジェクトの場合、unitクラスも実装するspatstatのメソッドが選択される。この問題はspatstatの後にunitパッケージをロードすることで解決できる。なお、バージョン1.53-2.012のspatstatパッケージではこれが解決されています。

Rではじめる機械学習

パラパラと読んだ。 表紙に「人気セミナー講師によるクリアな解説」とあるとおり、 様々な機械学習手法に関してわかりやすくまとめられていた。 ベイズ推定やディープラーニングにも関して述べられており、 とりあえず一通り網羅しているという感じであった。

所々詳しく学びたい方にお勧めの参考書が記載されており、 つかみどころだけを紹介(記載)しているスタイルが徹底されていてよいと思う。 また、ほとんど数式等は現れず、 これからRによる機械学習を始めたいという人にとってわかりやすい書籍だと思う。

メルカリを利用してみて

いらないものがあったので、この機会にメルカリを利用してみた。

販売価格:8000円

これで売れたら、臨時収入ウキウキと思っていたが、 いろいろ手数料がとられて手間ばかりの割に。。。という状態に。

メルカリに販売手数料 10%(800円)
送料 900円
売上金の振込手数料 210円
最終振込額 6090円

8000円から諸々で1910円も取られてる。

ちなみにクロネコに持ち込んだ時に一緒にいた人もメルカリ関係での発送だったぽい。

今回は比較て販売額が大きかったからまだよかったと思うが、販売金額が小さいものだとこのもろもろひかれる額が大きすぎるような気がする。 近所の中古屋に売るより高いだろうけど、 なんでそんなにはやるのかいまいちわからなかった。

福井の豪雪

気象庁の過去の気象データから福井の豪雪についてみてみる。 とりあえず1,2月の累積降雪量の推移を見てみる。 降雪量が多いのももちろんであるが近年まれにみる急激な降雪量の増加があったことがわかる。 また、この時期にはあまり降らないことが多いとかんがえられることから、多少の油断があったといえるかもしれない。

f:id:jerrarrdan:20180213015125p:plain