Apply .gitignore rules - remove ignored files

This commit is contained in:
Kirchik
2025-08-11 19:38:28 +02:00
parent 484cdde442
commit 8d3e509f92
16 changed files with 0 additions and 3087 deletions
-133
View File
@@ -1,133 +0,0 @@
#!/bin/bash
# Скрипт для загрузки всех изображений в S3
# Этот скрипт загружает все изображения из static/images в S3 bucket
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
# Инициализация
init_migration
log "Начало загрузки изображений в S3..."
# Проверка существования bucket
if ! aws s3 ls "s3://$S3_BUCKET" &> /dev/null; then
error_log "S3 bucket '$S3_BUCKET' не найден или недоступен"
exit 1
fi
# Подсчет файлов для загрузки
total_files=$(find "$LOCAL_IMAGES_DIR" -type f \( -iname "*.jpg" -o -iname "*.jpeg" -o -iname "*.png" -o -iname "*.gif" -o -iname "*.webp" \) | wc -l)
log "Найдено $total_files изображений для загрузки"
# Счетчик загруженных файлов
uploaded_count=0
error_count=0
# Функция для загрузки файла
upload_file() {
local file_path="$1"
local relative_path="${file_path#$LOCAL_IMAGES_DIR/}"
local s3_key="images/$relative_path"
# Определение MIME типа
local mime_type=""
case "${file_path##*.}" in
jpg|jpeg) mime_type="image/jpeg" ;;
png) mime_type="image/png" ;;
gif) mime_type="image/gif" ;;
webp) mime_type="image/webp" ;;
*) mime_type="application/octet-stream" ;;
esac
# Загрузка файла
if aws s3 cp "$file_path" "s3://$S3_BUCKET/$s3_key" \
--content-type "$mime_type" \
--cache-control "max-age=31536000" \
--metadata-directive REPLACE; then
uploaded_count=$((uploaded_count + 1))
log "[$uploaded_count/$total_files] Загружено: $relative_path"
else
error_count=$((error_count + 1))
error_log "Ошибка загрузки: $relative_path"
fi
}
# Загрузка всех изображений
log "Загрузка изображений..."
export -f upload_file log error_log
export LOCAL_IMAGES_DIR S3_BUCKET uploaded_count error_count total_files LOG_FILE ERROR_LOG
find "$LOCAL_IMAGES_DIR" -type f \( -iname "*.jpg" -o -iname "*.jpeg" -o -iname "*.png" -o -iname "*.gif" -o -iname "*.webp" \) | while read -r file; do
upload_file "$file"
done
# Загрузка фавикона и фоновых изображений
log "Загрузка специальных изображений..."
# Фавикон
if [ -f "./static/images/favicon.ico" ]; then
aws s3 cp "./static/images/favicon.ico" "s3://$S3_BUCKET/images/favicon.ico" \
--content-type "image/x-icon" \
--cache-control "max-age=31536000"
log "Загружен favicon.ico"
fi
# Фоновые изображения
for bg_file in "./static/images/bg-"*.jpg "./static/images/DESKTOP_NEW_1.jpg"; do
if [ -f "$bg_file" ]; then
basename_file=$(basename "$bg_file")
aws s3 cp "$bg_file" "s3://$S3_BUCKET/images/$basename_file" \
--content-type "image/jpeg" \
--cache-control "max-age=31536000"
log "Загружен фоновый файл: $basename_file"
fi
done
# Настройка публичного доступа для чтения
log "Настройка публичного доступа..."
aws s3api put-object-acl --bucket "$S3_BUCKET" --key "images/" --acl public-read || true
# Применение политики bucket для публичного чтения
cat > "$TEMP_DIR/bucket-policy.json" << EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "PublicReadGetObject",
"Effect": "Allow",
"Principal": "*",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::$S3_BUCKET/images/*"
}
]
}
EOF
aws s3api put-bucket-policy --bucket "$S3_BUCKET" --policy file://"$TEMP_DIR/bucket-policy.json"
# Статистика загрузки
log "Загрузка завершена!"
log "Загружено файлов: $uploaded_count"
log "Ошибок: $error_count"
log "Общий размер: $(du -sh "$LOCAL_IMAGES_DIR" | cut -f1)"
# Проверка нескольких случайных файлов
log "Проверка доступности загруженных файлов..."
sample_files=($(find "$LOCAL_IMAGES_DIR" -type f -name "*.jpg" | head -3))
for file in "${sample_files[@]}"; do
relative_path="${file#$LOCAL_IMAGES_DIR/}"
s3_url="$S3_BASE_URL/images/$relative_path"
if curl -I "$s3_url" &> /dev/null; then
log "✓ Файл доступен: $s3_url"
else
error_log "✗ Файл недоступен: $s3_url"
fi
done
log "Скрипт 1 завершен. Теперь запустите: ./2-update-content.sh"
-169
View File
@@ -1,169 +0,0 @@
#!/bin/bash
# Скрипт для обновления ссылок на изображения в контенте
# Заменяет все ссылки /images/ на S3 URLs
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
log "Начало обновления ссылок в контенте..."
# Функция для обновления файла
update_file() {
local file_path="$1"
local backup_path="$BACKUP_DIR/$(basename "$file_path").backup"
# Создание backup
cp "$file_path" "$backup_path"
# Временный файл для изменений
local temp_file="$TEMP_DIR/$(basename "$file_path").tmp"
# Замена ссылок в файле
sed -E "s|['\"]/?images/([^'\"]*)['\"]|\"$S3_BASE_URL/images/\1\"|g" "$file_path" > "$temp_file"
# Проверка на изменения
if ! diff -q "$file_path" "$temp_file" &> /dev/null; then
mv "$temp_file" "$file_path"
log "Обновлен файл: $file_path"
return 0
else
rm "$temp_file"
return 1
fi
}
# Счетчики
updated_files=0
total_files=0
# Обновление всех markdown файлов в content/
log "Обновление markdown файлов..."
while IFS= read -r -d '' file; do
total_files=$((total_files + 1))
if update_file "$file"; then
updated_files=$((updated_files + 1))
fi
done < <(find "$CONTENT_DIR" -name "*.md" -print0)
# Обновление конфигурационных файлов
log "Обновление конфигурационных файлов..."
# config.toml
if [ -f "$CONFIG_FILE" ]; then
total_files=$((total_files + 1))
if update_file "$CONFIG_FILE"; then
updated_files=$((updated_files + 1))
fi
fi
# config-prod.toml
if [ -f "$CONFIG_PROD_FILE" ]; then
total_files=$((total_files + 1))
if update_file "$CONFIG_PROD_FILE"; then
updated_files=$((updated_files + 1))
fi
fi
# Обновление HTML файлов в layouts (если есть хардкод)
log "Проверка HTML файлов в layouts..."
while IFS= read -r -d '' file; do
total_files=$((total_files + 1))
if update_file "$file"; then
updated_files=$((updated_files + 1))
fi
done < <(find "./layouts" -name "*.html" -print0 2>/dev/null || true)
# Обновление CSS файлов (фоновые изображения)
log "Обновление CSS файлов..."
while IFS= read -r -d '' file; do
total_files=$((total_files + 1))
# Специальная обработка для CSS - замена url() функций
backup_path="$BACKUP_DIR/$(basename "$file").backup"
cp "$file" "$backup_path"
temp_file="$TEMP_DIR/$(basename "$file").tmp"
sed -E "s|url\(['\"]?/?images/([^'\"]*)['\"]?\)|url(\"$S3_BASE_URL/images/\1\")|g" "$file" > "$temp_file"
if ! diff -q "$file" "$temp_file" &> /dev/null; then
mv "$temp_file" "$file"
updated_files=$((updated_files + 1))
log "Обновлен CSS файл: $file"
else
rm "$temp_file"
fi
done < <(find "./static/css" "./themes" -name "*.css" -print0 2>/dev/null || true)
# Создание файла с отчетом об изменениях
report_file="$TEMP_DIR/content-changes-report.txt"
log "Создание отчета об изменениях..."
{
echo "Отчет об обновлении контента"
echo "============================"
echo "Дата: $(date)"
echo "Обновлено файлов: $updated_files из $total_files"
echo "S3 Base URL: $S3_BASE_URL"
echo ""
echo "Измененные файлы:"
echo "-----------------"
# Список измененных файлов
find "$BACKUP_DIR" -name "*.backup" | while read -r backup; do
original="${backup%.backup}"
if [ -f "$original" ]; then
echo "- $original"
fi
done
echo ""
echo "Примеры замен:"
echo "-------------"
echo "Было: 'images/photo.jpg'"
echo "Стало: '$S3_BASE_URL/images/photo.jpg'"
echo ""
echo "Было: ![Alt](/images/photo.jpg)"
echo "Стало: ![Alt]($S3_BASE_URL/images/photo.jpg)"
} > "$report_file"
log "Отчет создан: $report_file"
# Проверка синтаксиса Hugo (если доступно)
if command -v hugo &> /dev/null; then
log "Проверка синтаксиса Hugo..."
if hugo --verbose --printPathWarnings 2>&1 | grep -i error; then
error_log "Найдены ошибки в Hugo конфигурации"
else
log "Hugo синтаксис корректен"
fi
fi
# Финальная статистика
log "Обновление контента завершено!"
log "Проверено файлов: $total_files"
log "Обновлено файлов: $updated_files"
log "Backup создан в: $BACKUP_DIR"
# Создание файла для отката изменений
rollback_script="$TEMP_DIR/rollback-content.sh"
{
echo "#!/bin/bash"
echo "# Скрипт для отката изменений контента"
echo "set -e"
echo ""
find "$BACKUP_DIR" -name "*.backup" | while read -r backup; do
original="${backup%.backup}"
if [ -f "$original" ]; then
echo "cp '$backup' '$original'"
fi
done
echo ""
echo "echo 'Откат завершен'"
} > "$rollback_script"
chmod +x "$rollback_script"
log "Скрипт отката создан: $rollback_script"
log "Скрипт 2 завершен. Теперь запустите: ./3-update-config.sh"
-301
View File
@@ -1,301 +0,0 @@
#!/bin/bash
# Скрипт для обновления конфигурации Hugo для работы с S3
# Обновляет shortcodes и настройки для работы с внешними изображениями
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
log "Начало обновления конфигурации Hugo..."
# Обновление shortcode figure.html
log "Обновление shortcode figure.html..."
figure_shortcode="./layouts/shortcodes/figure.html"
if [ -f "$figure_shortcode" ]; then
# Создание backup
cp "$figure_shortcode" "$BACKUP_DIR/figure.html.backup"
# Создание обновленного shortcode
cat > "$figure_shortcode" << 'EOF'
<!--
Updated figure shortcode for S3 images
NB this overrides Hugo's built-in "figure" shortcode but is backwards compatible
-->
<!-- count how many times we've called this shortcode; load the css if it's the first time -->
{{- if not ($.Page.Scratch.Get "figurecount") }}<link rel="stylesheet" href="{{ "css/hugo-easy-gallery.css" | relURL }}?v={{ now.Unix }}&update=2" />{{ end }}
{{- $.Page.Scratch.Add "figurecount" 1 -}}
<!-- use either src or link-thumb for thumbnail image -->
{{- $thumb := .Get "src" | default (printf "%s." (.Get "thumb") | replace (.Get "link") ".") }}
<!-- Check if image URL is already absolute (starts with http/https) -->
{{- $thumbURL := "" }}
{{- if or (hasPrefix $thumb "http://") (hasPrefix $thumb "https://") }}
{{- $thumbURL = $thumb }}
{{- else }}
{{- $thumbURL = $thumb | relURL }}
{{- end }}
{{- $linkURL := "" }}
{{- $link := .Get "link" | default (.Get "src") }}
{{- if or (hasPrefix $link "http://") (hasPrefix $link "https://") }}
{{- $linkURL = $link }}
{{- else }}
{{- $linkURL = $link | relURL }}
{{- end }}
<div class="box{{ with .Get "caption-position" }} fancy-figure caption-position-{{.}}{{end}}{{ with .Get "caption-effect" }} caption-effect-{{.}}{{end}}" {{ with .Get "width" }}style="max-width:{{.}}"{{end}}>
<figure {{ with .Get "class" }}class="{{.}}"{{ end }} itemprop="associatedMedia" itemscope itemtype="http://schema.org/ImageObject">
<div class="img"{{ if .Parent }} style="background-image: url('{{ $thumbURL }}');"{{ end }}{{ with .Get "size" }} data-size="{{.}}"{{ end }}>
<img itemprop="thumbnail" src="{{ $thumbURL }}" {{ with .Get "alt" | default (.Get "caption") }}alt="{{.}}"{{ end }}/><!-- <img> hidden if in .gallery -->
</div>
{{ with $linkURL }}<a href="{{ . }}" itemprop="contentUrl"></a>{{ end }}
{{- if or (or (.Get "title") (.Get "caption")) (.Get "attr")}}
<figcaption>
{{- with .Get "title" }}<h4>{{.}}</h4>{{ end }}
{{- if or (.Get "caption") (.Get "attr")}}
<p>
{{- .Get "caption" -}}
{{- with .Get "attrlink"}}<a href="{{.}}">{{ .Get "attr" }}</a>{{ else }}{{ .Get "attr"}}{{ end -}}
</p>
{{- end }}
</figcaption>
{{- end }}
</figure>
</div>
EOF
log "Обновлен figure.html shortcode"
else
log "figure.html shortcode не найден, создаем новый..."
mkdir -p "./layouts/shortcodes"
# Создать тот же код что выше
fi
# Обновление shortcode gallery.html
log "Обновление shortcode gallery.html..."
gallery_shortcode="./layouts/shortcodes/gallery.html"
if [ -f "$gallery_shortcode" ]; then
# Создание backup
cp "$gallery_shortcode" "$BACKUP_DIR/gallery.html.backup"
# Создание обновленного shortcode
cat > "$gallery_shortcode" << 'EOF'
<!--
Updated gallery shortcode for S3 images
Documentation and licence at https://github.com/liwenyip/hugo-easy-gallery/
-->
<!-- count how many times we've called this shortcode; load the css if it's the first time -->
{{- if not ($.Page.Scratch.Get "figurecount") }}<link rel="stylesheet" href="{{ "css/hugo-easy-gallery.css" | relURL }}?v={{ now.Unix }}&update=2" />{{ end }}
{{- $.Page.Scratch.Add "figurecount" 1 }}
<div class="gallery caption-position-{{ with .Get "caption-position" | default "bottom" }}{{.}}{{end}} caption-effect-{{ with .Get "caption-effect" | default "slide" }}{{.}}{{end}} hover-effect-{{ with .Get "hover-effect" | default "zoom" }}{{.}}{{end}} {{ if ne (.Get "hover-transition") "none" }}hover-transition{{end}}" itemscope itemtype="http://schema.org/ImageGallery">
{{- with (.Get "dir") -}}
<!-- If a directory was specified, generate figures for all of the images in the directory -->
<!-- Note: This mode is not recommended for S3 images, use individual figure shortcodes instead -->
{{- $files := readDir (print "/static/" .) }}
{{- range $files -}}
<!-- skip files that aren't images, or that include the thumb suffix in their name -->
{{- $thumbext := $.Get "thumb" | default "-thumb" }}
{{- $isthumb := .Name | findRE ($thumbext | printf "%s\\.") }}<!-- is the current file a thumbnail image? -->
{{- $isimg := lower .Name | findRE "\\.(gif|jpg|jpeg|tiff|png|bmp|webp|avif|jxl)" }}<!-- is the current file an image? -->
{{- if and $isimg (not $isthumb) }}
{{- $caption := .Name | replaceRE "\\..*" "" | humanize }}<!-- humanized filename without extension -->
{{- $linkURL := print "/images/" .Name }}<!-- relative URL to hi-res image -->
{{- $thumb := .Name | replaceRE "(\\.)" ($thumbext | printf "%s.") }}<!-- filename of thumbnail image -->
{{- $thumbexists := where $files "Name" $thumb }}<!-- does a thumbnail image exist? -->
{{- $thumbURL := print "/images/" $thumb }}<!-- relative URL to thumbnail image -->
<div class="box">
<figure itemprop="associatedMedia" itemscope itemtype="http://schema.org/ImageObject">
<div class="img" style="background-image: url('{{ if $thumbexists }}{{ $thumbURL }}{{ else }}{{ $linkURL }}{{ end }}');" >
<img itemprop="thumbnail" src="{{ if $thumbexists }}{{ $thumbURL }}{{ else }}{{ $linkURL }}{{ end }}" alt="{{ $caption }}" /><!-- <img> hidden if in .gallery -->
</div>
<figcaption>
<p>{{ $caption }}</p>
</figcaption>
<a href="{{ $linkURL }}" itemprop="contentUrl"></a><!-- put <a> last so it is stacked on top -->
</figure>
</div>
{{- end }}
{{- end }}
{{- else -}}
<!-- If no directory was specified, include any figure shortcodes called within the gallery -->
{{ .Inner }}
{{- end }}
</div>
<!-- Добавляем кнопку "вернуться в начало" для галереи -->
{{ partial "back-to-top.html" . }}
EOF
log "Обновлен gallery.html shortcode"
fi
# Обновление конфигурации Hugo для оптимизации внешних изображений
log "Обновление конфигурации Hugo..."
# Добавление настроек для работы с внешними изображениями
config_addition="
# S3 Images Configuration
[markup]
[markup.goldmark]
[markup.goldmark.renderer]
unsafe = true
[security]
[security.http]
urls = ['.*']
[caches]
[caches.images]
dir = ':cacheDir/_gen'
maxAge = '24h'
[imaging]
quality = 85
resampleFilter = 'lanczos'
anchor = 'smart'
"
# Добавление в config.toml если еще не добавлено
if ! grep -q "S3 Images Configuration" "$CONFIG_FILE"; then
echo "$config_addition" >> "$CONFIG_FILE"
log "Добавлены настройки S3 в config.toml"
fi
# Добавление в config-prod.toml если существует
if [ -f "$CONFIG_PROD_FILE" ] && ! grep -q "S3 Images Configuration" "$CONFIG_PROD_FILE"; then
echo "$config_addition" >> "$CONFIG_PROD_FILE"
log "Добавлены настройки S3 в config-prod.toml"
fi
# Создание партиала для предзагрузки изображений (опционально)
preload_partial="./layouts/partials/preload-images.html"
mkdir -p "./layouts/partials"
cat > "$preload_partial" << 'EOF'
<!-- Preload critical images for better performance -->
{{- with .Params.image }}
<link rel="preload" as="image" href="{{ . }}">
{{- end }}
{{- if .IsHome }}
<!-- Preload background image -->
<link rel="preload" as="image" href="{{ .Site.Params.backgroundPath }}">
{{- end }}
EOF
log "Создан партиал для предзагрузки изображений: $preload_partial"
# Обновление head.html для добавления предзагрузки
head_file="./layouts/partials/htmlhead.html"
if [ -f "$head_file" ] && ! grep -q "preload-images" "$head_file"; then
# Создание backup
cp "$head_file" "$BACKUP_DIR/htmlhead.html.backup"
# Добавление предзагрузки перед закрывающим тегом head
sed -i.bak 's|</head>|{{ partial "preload-images.html" . }}\n</head>|' "$head_file"
rm "$head_file.bak"
log "Добавлена предзагрузка изображений в htmlhead.html"
fi
# Создание CSS для ускорения загрузки изображений
image_optimization_css="./static/css/image-optimization.css"
mkdir -p "./static/css"
cat > "$image_optimization_css" << 'EOF'
/* Image optimization styles for S3 images */
/* Lazy loading fallback */
img[loading="lazy"] {
opacity: 0;
transition: opacity 0.3s;
}
img[loading="lazy"].loaded {
opacity: 1;
}
/* Improve gallery performance */
.gallery .img {
background-size: cover;
background-position: center;
background-repeat: no-repeat;
will-change: transform;
}
/* Responsive images */
img {
max-width: 100%;
height: auto;
display: block;
}
/* Placeholder while loading */
.gallery .img::before {
content: "";
display: block;
background: linear-gradient(90deg, #f0f0f0 25%, transparent 25%, transparent 50%, #f0f0f0 50%, #f0f0f0 75%, transparent 75%, transparent);
background-size: 20px 20px;
animation: loading 1s linear infinite;
}
@keyframes loading {
0% { background-position: 0 0; }
100% { background-position: 20px 0; }
}
/* Hide placeholder when image loads */
.gallery .img img {
position: relative;
z-index: 1;
}
EOF
log "Создан CSS для оптимизации изображений: $image_optimization_css"
# Создание файла для проверки работы S3
test_page="./content/test-s3-images.md"
cat > "$test_page" << EOF
+++
title = "Тест S3 изображений"
date = $(date -u +"%Y-%m-%dT%H:%M:%SZ")
draft = true
+++
# Тест загрузки изображений из S3
Эта страница для тестирования работы изображений после миграции на S3.
## Тестовые изображения
{{< figure src="$S3_BASE_URL/images/test-image.jpg" alt="Тестовое изображение" >}}
## Проверка работы галереи
{{< gallery >}}
{{< figure src="$S3_BASE_URL/images/test-image-1.jpg" >}}
{{< figure src="$S3_BASE_URL/images/test-image-2.jpg" >}}
{{< /gallery >}}
---
*Эта страница будет удалена после успешного тестирования*
EOF
log "Создана тестовая страница: $test_page"
# Финальная статистика
log "Обновление конфигурации Hugo завершено!"
log "Обновленные файлы:"
log "- layouts/shortcodes/figure.html"
log "- layouts/shortcodes/gallery.html"
log "- config.toml"
log "- layouts/partials/preload-images.html"
log "- static/css/image-optimization.css"
log "- content/test-s3-images.md (для тестирования)"
log "Скрипт 3 завершен. Теперь запустите: ./4-verify-migration.sh"
-254
View File
@@ -1,254 +0,0 @@
#!/bin/bash
# Скрипт для проверки успешности миграции на S3
# Проверяет доступность изображений, работу сайта и целостность ссылок
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
log "Начало проверки миграции на S3..."
# Счетчики для статистики
total_checks=0
successful_checks=0
failed_checks=0
warnings=0
# Функция для проверки доступности URL
check_url() {
local url="$1"
local description="$2"
total_checks=$((total_checks + 1))
if curl -s -I "$url" | grep -q "200 OK"; then
successful_checks=$((successful_checks + 1))
log "$description: $url"
return 0
else
failed_checks=$((failed_checks + 1))
error_log "$description: $url"
return 1
fi
}
# 1. Проверка доступности S3 bucket
log "1. Проверка доступности S3 bucket..."
if aws s3 ls "s3://$S3_BUCKET/images/" &> /dev/null; then
log "✓ S3 bucket доступен"
else
error_log "✗ S3 bucket недоступен"
exit 1
fi
# 2. Проверка случайных изображений из S3
log "2. Проверка доступности изображений в S3..."
# Получение списка изображений из S3
s3_images=$(aws s3 ls "s3://$S3_BUCKET/images/" --recursive | grep -E "\.(jpg|jpeg|png|gif|webp)$" | awk '{print $4}' | head -10)
if [ -z "$s3_images" ]; then
error_log "Изображения не найдены в S3"
exit 1
fi
# Проверка случайных изображений
echo "$s3_images" | while read -r s3_key; do
if [ -n "$s3_key" ]; then
image_url="$S3_BASE_URL/$s3_key"
check_url "$image_url" "Изображение в S3"
fi
done
# 3. Проверка специальных файлов
log "3. Проверка специальных файлов..."
special_files=(
"images/favicon.ico"
"images/DESKTOP_NEW_1.jpg"
"images/bg-winter.jpg"
"images/bg-spring.jpg"
"images/bg-summer.jpg"
"images/bg-autumn.jpg"
)
for file in "${special_files[@]}"; do
special_url="$S3_BASE_URL/$file"
check_url "$special_url" "Специальный файл" || warnings=$((warnings + 1))
done
# 4. Анализ контента на наличие старых ссылок
log "4. Проверка контента на наличие старых ссылок..."
old_links_count=0
if [ -d "$CONTENT_DIR" ]; then
# Поиск ссылок, начинающихся с /images/ (старые локальные ссылки)
old_links=$(grep -r "images/" "$CONTENT_DIR" | grep -v "$S3_BASE_URL" | grep -E "\.(jpg|jpeg|png|gif|webp)" || true)
if [ -n "$old_links" ]; then
old_links_count=$(echo "$old_links" | wc -l)
warnings=$((warnings + old_links_count))
error_log "Найдено $old_links_count старых ссылок на изображения:"
echo "$old_links" | head -5 | while read -r link; do
error_log " $link"
done
else
log "✓ Старые ссылки не найдены"
fi
fi
# 5. Проверка синтаксиса Hugo
log "5. Проверка синтаксиса Hugo..."
if command -v hugo &> /dev/null; then
hugo_output=$(hugo --verbose --printPathWarnings 2>&1 || true)
if echo "$hugo_output" | grep -qi "error"; then
error_log "Hugo сообщает об ошибках:"
echo "$hugo_output" | grep -i "error" | head -3
warnings=$((warnings + 1))
else
log "✓ Hugo синтаксис корректен"
fi
else
log "⚠ Hugo не установлен, пропуск проверки синтаксиса"
warnings=$((warnings + 1))
fi
# 6. Проверка размера репозитория
log "6. Проверка размера репозитория..."
repo_size_mb=$(du -sm . | cut -f1)
if [ "$repo_size_mb" -lt 1000 ]; then
log "✓ Размер репозитория: ${repo_size_mb}MB (хорошо)"
else
error_log "⚠ Размер репозитория: ${repo_size_mb}MB (все еще большой)"
warnings=$((warnings + 1))
fi
# 7. Проверка отсутствия дубликатов изображений
log "7. Проверка на дубликаты изображений..."
if [ -d "./public/images" ] || [ -d "./static/images" ]; then
error_log "⚠ Локальные изображения все еще присутствуют"
error_log " Рекомендуется удалить после успешной проверки:"
error_log " - ./public/images"
error_log " - ./static/images"
warnings=$((warnings + 1))
else
log "✓ Локальные изображения удалены"
fi
# 8. Тестирование с помощью Hugo server (опционально)
log "8. Тестирование локального сервера Hugo..."
if command -v hugo &> /dev/null; then
# Запуск Hugo сервера в фоне на короткое время
hugo server --bind 127.0.0.1 --port 1313 --disableFastRender &
hugo_pid=$!
# Ждем запуска сервера
sleep 5
# Проверка доступности главной страницы
if curl -s "http://localhost:1313/" > /dev/null; then
log "✓ Локальный сервер Hugo работает"
else
error_log "✗ Локальный сервер Hugo недоступен"
warnings=$((warnings + 1))
fi
# Остановка сервера
kill $hugo_pid 2>/dev/null || true
wait $hugo_pid 2>/dev/null || true
else
log "⚠ Hugo не установлен, пропуск тестирования сервера"
fi
# 9. Создание отчета
log "9. Создание отчета..."
report_file="./migration-s3/migration-verification-report.md"
{
echo "# Отчет о проверке миграции на S3"
echo ""
echo "**Дата проверки:** $(date)"
echo "**S3 Bucket:** $S3_BUCKET"
echo "**CDN URL:** $S3_BASE_URL"
echo ""
echo "## Результаты проверки"
echo ""
echo "- ✅ **Успешных проверок:** $successful_checks"
echo "- ❌ **Неудачных проверок:** $failed_checks"
echo "- ⚠️ **Предупреждений:** $warnings"
echo "- 📊 **Общее количество проверок:** $total_checks"
echo ""
if [ $failed_checks -eq 0 ] && [ $warnings -eq 0 ]; then
echo "## ✅ Статус: УСПЕШНО"
echo ""
echo "Миграция прошла успешно! Все изображения доступны через S3."
elif [ $failed_checks -eq 0 ] && [ $warnings -gt 0 ]; then
echo "## ⚠️ Статус: УСПЕШНО С ПРЕДУПРЕЖДЕНИЯМИ"
echo ""
echo "Миграция прошла в целом успешно, но есть предупреждения, которые стоит рассмотреть."
else
echo "## ❌ Статус: ТРЕБУЕТСЯ ВНИМАНИЕ"
echo ""
echo "Обнаружены проблемы, которые требуют исправления."
fi
echo ""
echo "## Рекомендации"
echo ""
if [ -d "./public/images" ] || [ -d "./static/images" ]; then
echo "1. **Удалите локальные изображения** после подтверждения работы:"
echo " \`\`\`bash"
echo " rm -rf ./public/images"
echo " rm -rf ./static/images"
echo " \`\`\`"
echo ""
fi
echo "2. **Настройте CloudFront CDN** для улучшения производительности"
echo "3. **Настройте мониторинг** доступности изображений"
echo "4. **Регулярно проверяйте** работу ссылок"
echo ""
echo "## Следующие шаги"
echo ""
echo "1. Протестируйте сайт в браузере"
echo "2. Проверьте работу галерей и изображений"
echo "3. Убедитесь в корректности отображения на разных устройствах"
echo "4. Используйте \`add-new-photos.sh\` для добавления новых изображений"
echo ""
echo "---"
echo "*Отчет создан автоматически скриптом 4-verify-migration.sh*"
} > "$report_file"
# 10. Финальная статистика
log "Проверка миграции завершена!"
log "Отчет создан: $report_file"
log ""
log "=== ИТОГОВАЯ СТАТИСТИКА ==="
log "Успешных проверок: $successful_checks"
log "Неудачных проверок: $failed_checks"
log "Предупреждений: $warnings"
log "Общее количество проверок: $total_checks"
log ""
if [ $failed_checks -eq 0 ] && [ $warnings -eq 0 ]; then
log "🎉 МИГРАЦИЯ УСПЕШНА! Все изображения работают через S3."
log "Теперь вы можете использовать add-new-photos.sh для добавления новых изображений."
elif [ $failed_checks -eq 0 ]; then
log "✅ МИГРАЦИЯ ЗАВЕРШЕНА с предупреждениями. Проверьте отчет."
else
log "❌ ОБНАРУЖЕНЫ ПРОБЛЕМЫ. Необходимо исправить ошибки."
exit 1
fi
# Показать путь к скриптам для дальнейшего использования
log ""
log "Для добавления новых изображений используйте:"
log " ./migration-s3/add-new-photos.sh /path/to/new/photos"
log ""
log "Для отката изменений (если нужно):"
log " ./migration-temp/rollback-content.sh"
-46
View File
@@ -1,46 +0,0 @@
# Миграция изображений на S3
## Что это дает простыми словами
**До миграции:**
- Каждое новое фото нужно добавлять в GitHub
- Загрузка сайта медленная из-за больших изображений
- Каждое изменение фото требует обновления всего сайта
- Репозиторий раздувается от фотографий (сейчас 2.3GB)
**После миграции на S3:**
- Фото загружаются прямо в облачное хранилище Amazon S3
- Сайт загружается быстрее через CDN (сеть доставки контента)
- Новые фото появляются на сайте мгновенно без обновления кода
- Репозиторий уменьшается в 10 раз (с 3GB до 300MB)
## Как это работает
1. **Все фото перемещаются в S3** - специальное облачное хранилище для файлов
2. **Настраивается CDN** - сеть серверов по всему миру для быстрой доставки
3. **Сайт ссылается на S3** - вместо локальных файлов используются ссылки на облако
4. **Автоматизация** - скрипты для быстрой загрузки новых фото
## Преимущества для вас
**Быстрая загрузка фото**: Загрузил в S3 → фото сразу на сайте
**Быстрый сайт**: Изображения загружаются через CDN
**Меньше проблем с Git**: Репозиторий легкий и быстрый
**Автоматизация**: Скрипты делают всю работу за вас
**Надежность**: S3 - самое надежное хранилище в мире
## Файлы в этой папке
- `1-upload-to-s3.sh` - Загружает все изображения в S3
- `2-update-content.sh` - Обновляет ссылки в постах
- `3-update-config.sh` - Обновляет конфигурацию Hugo
- `4-verify-migration.sh` - Проверяет, что все работает
- `add-new-photos.sh` - Быстрая загрузка новых фото (для постоянного использования)
## Как использовать
1. Настройте AWS CLI и S3 bucket
2. Запустите скрипты по порядку (1 → 2 → 3 → 4)
3. В будущем используйте `add-new-photos.sh` для новых изображений
**Результат**: Сайт работает так же, но быстрее и без больших файлов в Git!
-247
View File
@@ -1,247 +0,0 @@
#!/bin/bash
# Скрипт для быстрого добавления новых фотографий в S3
# Использовать ПОСЛЕ миграции для добавления новых изображений
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
# Проверка параметров
if [ $# -eq 0 ]; then
echo "Использование: $0 <путь_к_изображениям> [описание]"
echo ""
echo "Примеры:"
echo " $0 /path/to/new/photos"
echo " $0 /path/to/new/photos \"Фото из поездки в Сочи\""
echo " $0 ./new-photos"
echo ""
echo "Скрипт загружает изображения в S3 и создает готовый код для вставки в пост."
exit 1
fi
photos_path="$1"
description="${2:-Новые фотографии}"
# Проверка существования директории
if [ ! -d "$photos_path" ]; then
error_log "Директория не найдена: $photos_path"
exit 1
fi
log "Начало загрузки новых фотографий..."
log "Путь к фото: $photos_path"
log "Описание: $description"
# Подсчет изображений
image_files=$(find "$photos_path" -type f \( -iname "*.jpg" -o -iname "*.jpeg" -o -iname "*.png" -o -iname "*.gif" -o -iname "*.webp" \) | sort)
total_images=$(echo "$image_files" | wc -l)
if [ $total_images -eq 0 ]; then
error_log "Изображения не найдены в $photos_path"
exit 1
fi
log "Найдено $total_images изображений для загрузки"
# Создание уникального префикса для этой партии фото
batch_prefix="batch_$(date +%Y%m%d_%H%M%S)"
uploaded_files=()
failed_files=()
# Функция для загрузки одного файла
upload_single_file() {
local file_path="$1"
local filename=$(basename "$file_path")
local extension="${filename##*.}"
# Создание уникального имени файла
local base_name="${filename%.*}"
local s3_filename="${base_name}_${batch_prefix}.${extension}"
local s3_key="images/$s3_filename"
# Определение MIME типа
local mime_type=""
case "$extension" in
jpg|jpeg) mime_type="image/jpeg" ;;
png) mime_type="image/png" ;;
gif) mime_type="image/gif" ;;
webp) mime_type="image/webp" ;;
*) mime_type="application/octet-stream" ;;
esac
# Загрузка файла
if aws s3 cp "$file_path" "s3://$S3_BUCKET/$s3_key" \
--content-type "$mime_type" \
--cache-control "max-age=31536000" \
--metadata-directive REPLACE; then
uploaded_files+=("$s3_filename")
log "✓ Загружено: $filename$s3_filename"
return 0
else
failed_files+=("$filename")
error_log "✗ Ошибка загрузки: $filename"
return 1
fi
}
# Загрузка всех файлов
log "Загрузка изображений в S3..."
uploaded_count=0
failed_count=0
echo "$image_files" | while read -r file; do
if [ -n "$file" ]; then
if upload_single_file "$file"; then
uploaded_count=$((uploaded_count + 1))
else
failed_count=$((failed_count + 1))
fi
fi
done
# Пересчет после загрузки
uploaded_count=${#uploaded_files[@]}
failed_count=${#failed_files[@]}
log "Загрузка завершена: $uploaded_count успешно, $failed_count ошибок"
# Проверка загруженных файлов
log "Проверка доступности загруженных файлов..."
accessible_files=()
for filename in "${uploaded_files[@]}"; do
file_url="$S3_BASE_URL/images/$filename"
if curl -s -I "$file_url" | grep -q "200 OK"; then
accessible_files+=("$filename")
log "✓ Доступен: $file_url"
else
error_log "✗ Недоступен: $file_url"
fi
done
# Создание кода для вставки в пост
if [ ${#accessible_files[@]} -gt 0 ]; then
log "Создание кода для вставки в пост..."
# Файл с готовым кодом
code_file="./migration-s3/ready-code-$(date +%Y%m%d_%H%M%S).md"
{
echo "# Готовый код для вставки в пост"
echo ""
echo "**Описание:** $description"
echo "**Дата:** $(date)"
echo "**Загружено изображений:** ${#accessible_files[@]}"
echo ""
echo "## Код для галереи"
echo ""
echo "\`\`\`markdown"
echo "{{< gallery >}}"
for filename in "${accessible_files[@]}"; do
echo "{{< figure src=\"$S3_BASE_URL/images/$filename\" >}}"
done
echo "{{< /gallery >}}"
echo "\`\`\`"
echo ""
echo "## Код для отдельных изображений"
echo ""
echo "\`\`\`markdown"
for filename in "${accessible_files[@]}"; do
echo "![Описание]($S3_BASE_URL/images/$filename)"
done
echo "\`\`\`"
echo ""
echo "## Код с figure shortcode"
echo ""
echo "\`\`\`markdown"
for filename in "${accessible_files[@]}"; do
echo "{{< figure src=\"$S3_BASE_URL/images/$filename\" alt=\"Описание\" >}}"
done
echo "\`\`\`"
echo ""
echo "## Прямые ссылки"
echo ""
for filename in "${accessible_files[@]}"; do
echo "- $S3_BASE_URL/images/$filename"
done
echo ""
echo "---"
echo "*Код создан автоматически скриптом add-new-photos.sh*"
} > "$code_file"
log "Готовый код создан: $code_file"
# Показать краткий пример кода
echo ""
echo "=== ГОТОВЫЙ КОД ДЛЯ ВСТАВКИ ==="
echo ""
echo "{{< gallery >}}"
for filename in "${accessible_files[@]}"; do
echo "{{< figure src=\"$S3_BASE_URL/images/$filename\" >}}"
done
echo "{{< /gallery >}}"
echo ""
echo "Полный код сохранен в: $code_file"
fi
# Создание отчета
report_file="./migration-s3/upload-report-$(date +%Y%m%d_%H%M%S).txt"
{
echo "Отчет о загрузке фотографий"
echo "=========================="
echo "Дата: $(date)"
echo "Путь к исходным файлам: $photos_path"
echo "Описание: $description"
echo "Batch prefix: $batch_prefix"
echo ""
echo "Статистика:"
echo "- Найдено изображений: $total_images"
echo "- Загружено успешно: $uploaded_count"
echo "- Ошибок загрузки: $failed_count"
echo "- Доступно через CDN: ${#accessible_files[@]}"
echo ""
echo "Загруженные файлы:"
for filename in "${uploaded_files[@]}"; do
echo "- $filename"
done
echo ""
if [ ${#failed_files[@]} -gt 0 ]; then
echo "Файлы с ошибками:"
for filename in "${failed_files[@]}"; do
echo "- $filename"
done
echo ""
fi
echo "Готовый код в: $code_file"
} > "$report_file"
# Финальная статистика
log ""
log "=== ИТОГОВАЯ СТАТИСТИКА ==="
log "Найдено изображений: $total_images"
log "Загружено в S3: $uploaded_count"
log "Доступно через CDN: ${#accessible_files[@]}"
log "Ошибок: $failed_count"
log ""
if [ ${#accessible_files[@]} -gt 0 ]; then
log "🎉 ЗАГРУЗКА ЗАВЕРШЕНА! Новые изображения доступны через S3."
log "Готовый код для вставки в пост: $code_file"
else
error_log "❌ НЕ УДАЛОСЬ ЗАГРУЗИТЬ ИЗОБРАЖЕНИЯ. Проверьте настройки S3."
exit 1
fi
# Инструкции для использования
echo ""
echo "=== ИНСТРУКЦИИ ==="
echo "1. Скопируйте код из файла: $code_file"
echo "2. Вставьте код в нужный пост в директории content/post/"
echo "3. Измените alt-тексты и описания по необходимости"
echo "4. Сохраните пост и соберите сайт"
echo ""
echo "Для добавления еще фотографий запустите:"
echo " $0 /path/to/more/photos \"Описание новых фото\""
-82
View File
@@ -1,82 +0,0 @@
#!/bin/bash
# Конфигурация для миграции на S3
# Отредактируйте эти переменные под ваши настройки
# AWS S3 настройки
S3_BUCKET="your-ptp-bucket" # Замените на имя вашего S3 bucket
S3_REGION="us-east-1" # Замените на ваш регион
CDN_URL="https://d1234567890.cloudfront.net" # Замените на URL вашего CloudFront CDN (опционально)
# Если CDN не настроен, используйте прямой S3 URL
# S3_BASE_URL="https://${S3_BUCKET}.s3.${S3_REGION}.amazonaws.com"
S3_BASE_URL="${CDN_URL}"
# Локальные пути
LOCAL_IMAGES_DIR="./static/images"
LOCAL_PUBLIC_DIR="./public/images"
CONTENT_DIR="./content"
CONFIG_FILE="./config.toml"
CONFIG_PROD_FILE="./config-prod.toml"
# Временные файлы
TEMP_DIR="./migration-temp"
BACKUP_DIR="./migration-backup"
# Лог файлы
LOG_FILE="./migration-s3/migration.log"
ERROR_LOG="./migration-s3/errors.log"
# Функции для логирования
log() {
echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1" | tee -a "$LOG_FILE"
}
error_log() {
echo "[$(date '+%Y-%m-%d %H:%M:%S')] ERROR: $1" | tee -a "$ERROR_LOG"
}
# Проверка зависимостей
check_dependencies() {
log "Проверка зависимостей..."
if ! command -v aws &> /dev/null; then
error_log "AWS CLI не установлен. Установите: https://aws.amazon.com/cli/"
exit 1
fi
if ! command -v jq &> /dev/null; then
error_log "jq не установлен. Установите: brew install jq"
exit 1
fi
# Проверка AWS credentials
if ! aws sts get-caller-identity &> /dev/null; then
error_log "AWS credentials не настроены. Запустите: aws configure"
exit 1
fi
log "Все зависимости установлены"
}
# Создание директорий
create_dirs() {
mkdir -p "$TEMP_DIR"
mkdir -p "$BACKUP_DIR"
mkdir -p "$(dirname "$LOG_FILE")"
mkdir -p "$(dirname "$ERROR_LOG")"
}
# Инициализация
init_migration() {
log "Инициализация миграции..."
create_dirs
check_dependencies
# Создание backup
log "Создание backup..."
cp -r "$CONTENT_DIR" "$BACKUP_DIR/content_backup_$(date +%Y%m%d_%H%M%S)"
cp "$CONFIG_FILE" "$BACKUP_DIR/config_backup_$(date +%Y%m%d_%H%M%S).toml"
log "Backup создан в $BACKUP_DIR"
}
-341
View File
@@ -1,341 +0,0 @@
#!/bin/bash
# Скрипт для настройки AWS S3 и CloudFront для хранения изображений
# Запустить ПЕРЕД миграцией для настройки инфраструктуры
set -e # Остановка при ошибке
# Загрузка конфигурации
source "$(dirname "$0")/config.sh"
log "Начало настройки AWS инфраструктуры..."
# Проверка зависимостей
if ! command -v aws &> /dev/null; then
error_log "AWS CLI не установлен. Установите: https://aws.amazon.com/cli/"
exit 1
fi
if ! aws sts get-caller-identity &> /dev/null; then
error_log "AWS credentials не настроены. Запустите: aws configure"
exit 1
fi
# Получение информации об аккаунте
aws_account_id=$(aws sts get-caller-identity --query 'Account' --output text)
aws_region=$(aws configure get region || echo "us-east-1")
log "AWS Account ID: $aws_account_id"
log "AWS Region: $aws_region"
# 1. Создание S3 bucket
log "1. Создание S3 bucket..."
if aws s3 ls "s3://$S3_BUCKET" &> /dev/null; then
log "S3 bucket '$S3_BUCKET' уже существует"
else
log "Создание S3 bucket: $S3_BUCKET"
if [ "$aws_region" = "us-east-1" ]; then
aws s3 mb "s3://$S3_BUCKET"
else
aws s3 mb "s3://$S3_BUCKET" --region "$aws_region"
fi
log "S3 bucket создан"
fi
# 2. Настройка политики bucket для публичного чтения
log "2. Настройка политики bucket..."
# Отключение блокировки публичного доступа
aws s3api put-public-access-block \
--bucket "$S3_BUCKET" \
--public-access-block-configuration \
"BlockPublicAcls=false,IgnorePublicAcls=false,BlockPublicPolicy=false,RestrictPublicBuckets=false"
# Политика для публичного чтения изображений
cat > "$TEMP_DIR/bucket-policy.json" << EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "PublicReadGetObject",
"Effect": "Allow",
"Principal": "*",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::$S3_BUCKET/images/*"
}
]
}
EOF
aws s3api put-bucket-policy --bucket "$S3_BUCKET" --policy file://"$TEMP_DIR/bucket-policy.json"
log "Политика bucket настроена"
# 3. Настройка CORS для браузерного доступа
log "3. Настройка CORS..."
cat > "$TEMP_DIR/cors-config.json" << EOF
{
"CORSRules": [
{
"AllowedOrigins": ["*"],
"AllowedMethods": ["GET", "HEAD"],
"AllowedHeaders": ["*"],
"MaxAgeSeconds": 3000
}
]
}
EOF
aws s3api put-bucket-cors --bucket "$S3_BUCKET" --cors-configuration file://"$TEMP_DIR/cors-config.json"
log "CORS настроен"
# 4. Настройка CloudFront CDN (опционально)
log "4. Настройка CloudFront CDN..."
# Проверка существования дистрибуции
existing_distribution=$(aws cloudfront list-distributions --query "DistributionList.Items[?Origins.Items[0].DomainName=='$S3_BUCKET.s3.amazonaws.com'].Id" --output text || echo "")
if [ -n "$existing_distribution" ]; then
log "CloudFront дистрибуция уже существует: $existing_distribution"
cdn_domain=$(aws cloudfront get-distribution --id "$existing_distribution" --query "Distribution.DomainName" --output text)
log "CDN домен: $cdn_domain"
else
log "Создание CloudFront дистрибуции..."
# Создание конфигурации CloudFront
cat > "$TEMP_DIR/cloudfront-config.json" << EOF
{
"CallerReference": "ptp-images-$(date +%s)",
"Comment": "CDN for PTP website images",
"DefaultCacheBehavior": {
"TargetOriginId": "S3-$S3_BUCKET",
"ViewerProtocolPolicy": "redirect-to-https",
"TrustedSigners": {
"Enabled": false,
"Quantity": 0
},
"ForwardedValues": {
"QueryString": false,
"Cookies": {
"Forward": "none"
}
},
"MinTTL": 0,
"DefaultTTL": 86400,
"MaxTTL": 31536000,
"Compress": true
},
"Origins": {
"Quantity": 1,
"Items": [
{
"Id": "S3-$S3_BUCKET",
"DomainName": "$S3_BUCKET.s3.amazonaws.com",
"S3OriginConfig": {
"OriginAccessIdentity": ""
}
}
]
},
"Enabled": true,
"PriceClass": "PriceClass_100"
}
EOF
# Создание дистрибуции
distribution_id=$(aws cloudfront create-distribution --distribution-config file://"$TEMP_DIR/cloudfront-config.json" --query "Distribution.Id" --output text)
log "CloudFront дистрибуция создана: $distribution_id"
log "Ожидание развертывания CloudFront (это может занять несколько минут)..."
# Ожидание развертывания
aws cloudfront wait distribution-deployed --id "$distribution_id"
cdn_domain=$(aws cloudfront get-distribution --id "$distribution_id" --query "Distribution.DomainName" --output text)
log "CDN домен: $cdn_domain"
# Обновление конфигурации с CDN URL
cdn_url="https://$cdn_domain"
sed -i.bak "s|CDN_URL=.*|CDN_URL=\"$cdn_url\"|" "$(dirname "$0")/config.sh"
sed -i.bak "s|S3_BASE_URL=.*|S3_BASE_URL=\"$cdn_url\"|" "$(dirname "$0")/config.sh"
log "Конфигурация обновлена с CDN URL: $cdn_url"
fi
# 5. Создание IAM пользователя для загрузки (опционально)
log "5. Создание IAM пользователя для загрузки изображений..."
iam_user="ptp-images-uploader"
if aws iam get-user --user-name "$iam_user" &> /dev/null; then
log "IAM пользователь '$iam_user' уже существует"
else
log "Создание IAM пользователя: $iam_user"
aws iam create-user --user-name "$iam_user"
# Политика для загрузки в S3
cat > "$TEMP_DIR/iam-policy.json" << EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:PutObjectAcl",
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": "arn:aws:s3:::$S3_BUCKET/images/*"
},
{
"Effect": "Allow",
"Action": [
"s3:ListBucket"
],
"Resource": "arn:aws:s3:::$S3_BUCKET"
}
]
}
EOF
# Создание политики
policy_arn=$(aws iam create-policy --policy-name "PTPImagesUpload" --policy-document file://"$TEMP_DIR/iam-policy.json" --query "Policy.Arn" --output text)
# Присвоение политики пользователю
aws iam attach-user-policy --user-name "$iam_user" --policy-arn "$policy_arn"
log "IAM пользователь создан и политика назначена"
fi
# 6. Создание тестового изображения
log "6. Создание тестового изображения..."
# Создание простого тестового изображения (SVG)
cat > "$TEMP_DIR/test-image.svg" << 'EOF'
<svg width="400" height="300" xmlns="http://www.w3.org/2000/svg">
<rect width="100%" height="100%" fill="#f0f0f0"/>
<text x="200" y="150" text-anchor="middle" font-family="Arial" font-size="20" fill="#333">
Test Image for PTP S3 Migration
</text>
<text x="200" y="180" text-anchor="middle" font-family="Arial" font-size="14" fill="#666">
This image confirms S3 setup is working
</text>
</svg>
EOF
# Загрузка тестового изображения
aws s3 cp "$TEMP_DIR/test-image.svg" "s3://$S3_BUCKET/images/test-image.svg" \
--content-type "image/svg+xml" \
--cache-control "max-age=3600"
log "Тестовое изображение загружено"
# 7. Проверка работы
log "7. Проверка работы настроенной инфраструктуры..."
# Проверка доступности через S3
s3_url="https://$S3_BUCKET.s3.amazonaws.com/images/test-image.svg"
if curl -s -I "$s3_url" | grep -q "200 OK"; then
log "✓ S3 доступен: $s3_url"
else
error_log "✗ S3 недоступен: $s3_url"
fi
# Проверка доступности через CDN (если настроен)
if [ -n "$cdn_domain" ]; then
cdn_url="https://$cdn_domain/images/test-image.svg"
if curl -s -I "$cdn_url" | grep -q "200 OK"; then
log "✓ CDN доступен: $cdn_url"
else
log "⚠ CDN пока недоступен (может потребоваться время): $cdn_url"
fi
fi
# 8. Создание отчета о настройке
setup_report="./migration-s3/aws-setup-report.md"
{
echo "# Отчет о настройке AWS для PTP Images"
echo ""
echo "**Дата настройки:** $(date)"
echo "**AWS Account ID:** $aws_account_id"
echo "**AWS Region:** $aws_region"
echo ""
echo "## Созданные ресурсы"
echo ""
echo "### S3 Bucket"
echo "- **Имя:** $S3_BUCKET"
echo "- **Регион:** $aws_region"
echo "- **URL:** https://$S3_BUCKET.s3.amazonaws.com"
echo "- **Публичный доступ:** Только для папки /images/"
echo ""
if [ -n "$cdn_domain" ]; then
echo "### CloudFront CDN"
echo "- **Домен:** $cdn_domain"
echo "- **URL:** https://$cdn_domain"
echo "- **Статус:** Активен"
echo ""
fi
echo "### IAM пользователь"
echo "- **Имя:** $iam_user"
echo "- **Права:** Загрузка в /images/"
echo ""
echo "## Тестирование"
echo ""
echo "Тестовое изображение доступно по адресу:"
echo "- S3: $s3_url"
if [ -n "$cdn_domain" ]; then
echo "- CDN: https://$cdn_domain/images/test-image.svg"
fi
echo ""
echo "## Следующие шаги"
echo ""
echo "1. Убедитесь, что тестовое изображение доступно"
echo "2. Обновите переменные в config.sh при необходимости"
echo "3. Запустите миграцию: ./1-upload-to-s3.sh"
echo ""
echo "## Конфигурация"
echo ""
echo "Добавьте в config.sh:"
echo "\`\`\`bash"
echo "S3_BUCKET=\"$S3_BUCKET\""
echo "S3_REGION=\"$aws_region\""
if [ -n "$cdn_domain" ]; then
echo "CDN_URL=\"https://$cdn_domain\""
echo "S3_BASE_URL=\"https://$cdn_domain\""
else
echo "S3_BASE_URL=\"https://$S3_BUCKET.s3.amazonaws.com\""
fi
echo "\`\`\`"
echo ""
echo "---"
echo "*Отчет создан автоматически скриптом setup-aws.sh*"
} > "$setup_report"
# Финальная информация
log ""
log "=== НАСТРОЙКА AWS ЗАВЕРШЕНА ==="
log "S3 Bucket: $S3_BUCKET"
log "Region: $aws_region"
if [ -n "$cdn_domain" ]; then
log "CDN Domain: $cdn_domain"
log "Base URL: https://$cdn_domain"
else
log "Base URL: https://$S3_BUCKET.s3.amazonaws.com"
fi
log "Отчет создан: $setup_report"
log ""
log "Тестовое изображение:"
log " $s3_url"
log ""
log "Следующий шаг: ./1-upload-to-s3.sh"
@@ -1,4 +0,0 @@
[ZoneTransfer]
ZoneId=3
ReferrerUrl=https://www.pexels.com/
HostUrl=https://images.pexels.com/photos/54278/pexels-photo-54278.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=1
-162
View File
@@ -1,162 +0,0 @@
# Telegram Bot для создания постов и планирования путешествий
## Функции бота
### 📝 Создание постов
- Создание заголовка и основного текста поста
- Загрузка фото в лучшем качестве или для быстрой загрузки в `public/images/`
- Добавление видео
- Интеграция YouTube видео через Hugo shortcodes
- Локации с Яндекс.Карт
- Автоматическое создание Hugo markdown файлов в `content/post/`
- Генерация правильного front matter для Hugo
### 🌍 Календарь поездок
- Создание названия и описания поездки
- Добавление фото к поездкам
- Автоматическое обновление файла `content/plan.md`
### 📅 Управление календарём поездок
- Добавление месячных поездок (системные ежемесячные варианты)
- Добавление специальных поездок (праздничные и особенные события)
- Удаление существующих поездок из списка
- Просмотр всех доступных вариантов поездок
- Автоматическое обновление выпадающего списка в форме на сайте
### 🔄 Git интеграция
- Автоматический commit всех изменений после создания поста
- Автоматический commit при обновлении календаря поездок
- Автоматический push в репозиторий Gitea/GitHub
- Осмысленные commit сообщения с указанием источника (Telegram бот)
## Установка и запуск
1. **Установите зависимости:**
```bash
pip3 install -r requirements.txt
```
2. **Настройте токен бота:**
```bash
export TELEGRAM_BOT_TOKEN="ваш_токен_здесь"
```
Или создайте файл `.env`:
```
TELEGRAM_BOT_TOKEN=ваш_токен_здесь
```
3. **Запустите бота:**
```bash
./start_bot.sh
```
Или напрямую:
```bash
python3 telegram_bot.py
```
## Использование
1. Запустите бота командой `/start`
2. Выберите действие из главного меню:
- **📝 Создать пост** - для создания новых постов
- **🌍 Хочу поехать** - для добавления записей в календарь поездок
- **📅 Управление календарём** - для управления вариантами поездок в форме
### Создание поста
1. Введите заголовок поста
2. Введите основной текст поста
3. Используйте кнопки для добавления:
- 📸 Фото (с выбором качества)
- 🎥 Видео
- 🔗 YouTube ссылки
- 📍 Локации с Яндекс.Карт
4. Нажмите "✅ Опубликовать пост"
5. Бот автоматически создаст Hugo markdown файл и сделает Git commit
### Календарь поездок
1. Введите название поездки
2. Опишите детали поездки
3. При желании добавьте фото
4. Сохраните запись
5. Бот автоматически обновит `plan.md` и сделает Git commit
### Управление календарём поездок
1. **Добавить месячную поездку:**
- Выберите "➕ Добавить месячную поездку"
- Введите название в формате "Полёты в [месяц] [год] года"
- Новая опция автоматически добавится в форму на сайте
2. **Добавить специальную поездку:**
- Выберите "✨ Добавить специальную поездку"
- Введите название события (например: "Новогодние каникулы в горах")
- Опция будет добавлена в выпадающий список
3. **Удалить поездку:**
- Выберите "❌ Удалить поездку"
- Выберите поездку из списка для удаления
- Опция будет удалена из формы на сайте
4. **Просмотреть список:**
- Выберите "📋 Просмотреть список"
- Увидите все текущие варианты поездок
## Интеграция с Hugo и Git
### Структура файлов
- `content/post/` - markdown файлы постов
- `public/images/` - загруженные изображения и видео
- `content/plan.md` - файл календаря поездок
### Создаваемые файлы
#### Hugo пост (content/post/название-поста-20250802.md):
```markdown
+++
title = 'Название поста'
slug = 'название-поста-20250802'
date = "2025-08-02T14:30:00"
image = 'images/post_20250802_143000_1.jpg'
+++
Основной текст поста
## Фотографии
{{< gallery dir="/images/" />}}
## Видео
{{< youtube dQw4w9WgXcQ >}}
## Локации
📍 [Посмотреть на карте](https://yandex.ru/maps/...)
{{< rawhtml >}}
{{< back-to-top >}}
{{< /rawhtml >}}
```
### Git коммиты
#### Пример коммита для поста:
```
Добавлен новый пост: Название поста
🤖 Создано через Telegram бота
```
#### Пример коммита для календаря:
```
Обновлен календарь поездок: Поездка в горы
🤖 Создано через Telegram бота
```
## Требования
- Git репозиторий должен быть настроен с правами на push
- Бот должен запускаться из корня Hugo проекта
- Необходимые Python библиотеки: `python-telegram-bot`, `requests`
-106
View File
@@ -1,106 +0,0 @@
# TODO для Telegram бота
## ✅ Выполненные задачи
- [x] **Add location input for post creation**
- ✅ Добавлен запрос направления/города при создании поста
- ✅ Новый шаг между заголовком и текстом поста
- [x] **Update image naming to match existing pattern (City-YYYYMMDD-N.jpg)**
- ✅ Изменено именование файлов с `post_timestamp_N.jpg` на `City-YYYYMMDD-N.jpg`
- ✅ Используется введенное направление и текущая дата
- [x] **Update Hugo post generation to use correct image paths**
- ✅ Обновлена генерация Hugo постов для использования правильных путей к изображениям
- ✅ Учтена новая схема именования файлов
- [x] **Create function to transliterate city names to Latin**
- ✅ Функция транслитерации с русского на латиницу
- ✅ Обработка популярных городов/направлений (30+ городов)
- ✅ Fallback для неизвестных названий
- [x] **Update post workflow to include location step**
- ✅ Изменена последовательность создания поста:
1. Заголовок
2. **Направление/город**
3. Основной текст
4. Медиафайлы
5. Публикация
## 🔄 Обновленный workflow бота
### 📝 Создание постов:
1. **Заголовок поста** - пользователь вводит название
2. **Описание для превью** - краткое описание (1-2 слова)
3. **Направление/город** - пользователь указывает локацию (Москва, Алтай, и т.д.)
4. **Основной текст** - описание поста
5. **Медиафайлы** (опционально):
- Фото с автоматическим именованием `Город-YYYYMMDD-N.jpg`
- Видео с тем же принципом именования
- YouTube ссылки
- Локации Яндекс.Карт
6. **Публикация** - создание Hugo файла и Git commit
### 📅 Управление календарём поездок:
1. **Добавить месячную поездку** - системные ежемесячные поездки (например: "Полёты в октябре 2025 года")
2. **Добавить специальную поездку** - особенные события (например: "Новогодние каникулы в горах")
3. **Удалить поездку** - удаление существующих опций из выпадающего списка
4. **Просмотреть список** - показать все текущие варианты поездок
5. **Автоматическое обновление** - изменения сразу отражаются в form на сайте
## 📝 Обновления
### Новое приветственное сообщение:
```
🤖 Добро пожаловать в бот предназначенный для загрузки контента на сайт "Пока ты спал"!
Выберите действие:
```
### Добавлено поле description:
- Отображается в Hugo front matter как `description = 'Поход'`
- Используется для превью постов
- Запрашивается после заголовка, до локации
### Новая последовательность создания поста:
1. Заголовок: "Поездка в горы Алтая"
2. **Описание: "Поход"** ← НОВОЕ
3. Локация: "Алтай" → Altai (с пояснением про организацию фото)
4. Основной текст: "Невероятная поездка..."
5. Медиафайлы и публикация
## 📸 Обновления по фото
### Упрощенная загрузка фото:
- Убран выбор качества
- Только загрузка через файл/документ для максимального качества
- Понятные сообщения об ошибках при неправильной загрузке
### Логика фото:
- **Первое фото** = главное для превью (в front matter как `image`)
- **Остальные фото** = дополнительные для галереи
- Статус указывается при добавлении каждого фото
### Текст при запросе направления:
```
Теперь введите направление/город поездки (на русском):
Это нужно для организации фото по названиям файлов.
Например: Москва, Питер, Алтай, Кавказ, Тула...
```
### Текст при загрузке фото:
```
📸 Отправьте фото как файл через Telegram:
Для сохранения качества обязательно отправляйте фото как документ/файл!
Первое фото будет главным (в превью), остальные добавятся в галерею.
```
## Текущая схема именования
Существующие файлы: `Aleksin-20210515-1.jpg`, `Altai-20220912-1.jpg`, etc.
Нужно: `Направление-YYYYMMDD-номер.jpg`
## Примеры направлений в проекте
- Aleksin, Altai, Moscow, Piter, Tula, Tver, Yaroslavl, Vladimir, Serpuhov, Dmitrov, Kalyazin
- Kavkaz, Murmansk, Kaliningrad, KBR (Кабардино-Балкария)
- Pokrov, Sergiev, Rostov, Ryazan, Spirovo
-2
View File
@@ -1,2 +0,0 @@
# Telegram Bot Configuration
TELEGRAM_BOT_TOKEN=YOUR_BOT_TOKEN_HERE
-1
View File
@@ -1 +0,0 @@
python-telegram-bot==20.7
-38
View File
@@ -1,38 +0,0 @@
#!/bin/bash
# Скрипт запуска Telegram бота
echo "🤖 Запуск Telegram бота..."
# Проверка наличия Python
if ! command -v python3 &> /dev/null; then
echo "❌ Python3 не найден. Установите Python3."
exit 1
fi
# Проверка наличия pip
if ! command -v pip3 &> /dev/null; then
echo "❌ pip3 не найден. Установите pip3."
exit 1
fi
# Установка зависимостей
echo "📦 Установка зависимостей..."
pip3 install -r requirements.txt
# Проверка переменной окружения
if [ -z "$TELEGRAM_BOT_TOKEN" ]; then
echo "⚠️ Не установлен TELEGRAM_BOT_TOKEN"
echo "Установите токен бота:"
echo "export TELEGRAM_BOT_TOKEN='ваш_токен_здесь'"
echo ""
echo "Или создайте файл .env и добавьте туда:"
echo "TELEGRAM_BOT_TOKEN=ваш_токен_здесь"
echo ""
read -p "Введите токен бота: " token
export TELEGRAM_BOT_TOKEN="$token"
fi
# Запуск бота
echo "🚀 Запуск бота..."
python3 telegram_bot.py
File diff suppressed because it is too large Load Diff
@@ -1,13 +0,0 @@
{{ $jQuery := resources.Get "js/jquery.min.js" }}
{{ $scrollex := resources.Get "js/jquery.scrollex.min.js" }}
{{ $scrolly := resources.Get "js/jquery.scrolly.min.js" }}
{{ $browser := resources.Get "js/browser.min.js" }}
{{ $breakpoints := resources.Get "js/breakpoints.min.js" }}
{{ $util := resources.Get "js/util.js" }}
{{ $main := resources.Get "js/main.js" }}
{{ $js := slice $jQuery $scrollex $scrolly $browser $breakpoints $util $main | resources.Concat "assets/js/bundle.js" }}
<!-- Scripts -->
<script src='{{ $js.RelPermalink }}'></script>