„Summer Pockets” przenosi nas na odizolowaną, wiejską i spokojną wyspę Torishirojima na Morzu Wewnętrznym Seto, zamieszkałą przez około 2000 osób. Główny bohater, Hairi Takahara, pochodzi z miejskiego środowiska, ale po nieprzyjemnym incydencie, wykorzystuje niedawne zgon babcii jako pretekst, by przybyć na wyspę i zająć się sprzedażą jej majątku. Na miejscu poznaje cztery dziewczyny, które są głównym punktem tej opowieści: Shirohą Naruse, która zapomniała swoje wakacje; Ao Sorakado, która ściga legendy wyspy; Kamome Kushima, dziewczynę z wyższych sfer szukającą pirackiego statku; i Tsumugi Wenders, młodszą dziewczynę próbującą odnaleźć swoje ja.