feat(ingestion): add wiki inventory loader
This commit is contained in:
68
ingestion/internal/wiki/inventory.go
Normal file
68
ingestion/internal/wiki/inventory.go
Normal file
@@ -0,0 +1,68 @@
|
|||||||
|
// ingestion/internal/wiki/inventory.go
|
||||||
|
package wiki
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bufio"
|
||||||
|
"os"
|
||||||
|
"path/filepath"
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
// LoadInventory walks brain/wiki/ and returns all pages grouped by type.
|
||||||
|
// Missing subdirectories are silently skipped.
|
||||||
|
func LoadInventory(brainDir string) (map[PageType][]Entry, error) {
|
||||||
|
result := map[PageType][]Entry{
|
||||||
|
PageTypeConcept: {},
|
||||||
|
PageTypeEntity: {},
|
||||||
|
PageTypeSource: {},
|
||||||
|
}
|
||||||
|
for pt := range result {
|
||||||
|
dir := filepath.Join(brainDir, "wiki", string(pt))
|
||||||
|
entries, err := os.ReadDir(dir)
|
||||||
|
if os.IsNotExist(err) {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
for _, e := range entries {
|
||||||
|
if e.IsDir() || !strings.HasSuffix(e.Name(), ".md") {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
slug := strings.TrimSuffix(e.Name(), ".md")
|
||||||
|
path := filepath.Join(dir, e.Name())
|
||||||
|
title := readTitle(path, slug)
|
||||||
|
result[pt] = append(result[pt], Entry{Slug: slug, Title: title, Type: pt})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return result, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// readTitle extracts the title from YAML frontmatter, falling back to slug.
|
||||||
|
func readTitle(path, fallback string) string {
|
||||||
|
f, err := os.Open(path)
|
||||||
|
if err != nil {
|
||||||
|
return fallback
|
||||||
|
}
|
||||||
|
defer f.Close()
|
||||||
|
|
||||||
|
scanner := bufio.NewScanner(f)
|
||||||
|
inFM := false
|
||||||
|
for scanner.Scan() {
|
||||||
|
line := scanner.Text()
|
||||||
|
if strings.TrimSpace(line) == "---" {
|
||||||
|
if !inFM {
|
||||||
|
inFM = true
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if inFM {
|
||||||
|
key, val, ok := strings.Cut(line, ":")
|
||||||
|
if ok && strings.TrimSpace(key) == "title" {
|
||||||
|
return strings.Trim(strings.TrimSpace(val), `"'`)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return fallback
|
||||||
|
}
|
||||||
62
ingestion/internal/wiki/inventory_test.go
Normal file
62
ingestion/internal/wiki/inventory_test.go
Normal file
@@ -0,0 +1,62 @@
|
|||||||
|
// ingestion/internal/wiki/inventory_test.go
|
||||||
|
package wiki
|
||||||
|
|
||||||
|
import (
|
||||||
|
"os"
|
||||||
|
"path/filepath"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"github.com/stretchr/testify/assert"
|
||||||
|
"github.com/stretchr/testify/require"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestLoadInventory(t *testing.T) {
|
||||||
|
dir := t.TempDir()
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "concepts"), 0o755))
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "entities"), 0o755))
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "sources"), 0o755))
|
||||||
|
|
||||||
|
require.NoError(t, os.WriteFile(
|
||||||
|
filepath.Join(dir, "wiki", "concepts", "domain-driven-design.md"),
|
||||||
|
[]byte("---\ntitle: Domain Driven Design\n---\n\n## Definition\n\nA thing.\n"),
|
||||||
|
0o644,
|
||||||
|
))
|
||||||
|
require.NoError(t, os.WriteFile(
|
||||||
|
filepath.Join(dir, "wiki", "entities", "ryan-singer.md"),
|
||||||
|
[]byte("---\ntitle: Ryan Singer\n---\n\n## Description\n\nDesigner.\n"),
|
||||||
|
0o644,
|
||||||
|
))
|
||||||
|
|
||||||
|
inv, err := LoadInventory(dir)
|
||||||
|
require.NoError(t, err)
|
||||||
|
|
||||||
|
assert.Len(t, inv[PageTypeConcept], 1)
|
||||||
|
assert.Equal(t, "domain-driven-design", inv[PageTypeConcept][0].Slug)
|
||||||
|
assert.Equal(t, "Domain Driven Design", inv[PageTypeConcept][0].Title)
|
||||||
|
|
||||||
|
assert.Len(t, inv[PageTypeEntity], 1)
|
||||||
|
assert.Equal(t, "ryan-singer", inv[PageTypeEntity][0].Slug)
|
||||||
|
|
||||||
|
assert.Empty(t, inv[PageTypeSource])
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLoadInventory_EmptyDirs(t *testing.T) {
|
||||||
|
dir := t.TempDir()
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "concepts"), 0o755))
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "entities"), 0o755))
|
||||||
|
require.NoError(t, os.MkdirAll(filepath.Join(dir, "wiki", "sources"), 0o755))
|
||||||
|
|
||||||
|
inv, err := LoadInventory(dir)
|
||||||
|
require.NoError(t, err)
|
||||||
|
assert.Empty(t, inv[PageTypeConcept])
|
||||||
|
assert.Empty(t, inv[PageTypeEntity])
|
||||||
|
assert.Empty(t, inv[PageTypeSource])
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLoadInventory_MissingDirsOk(t *testing.T) {
|
||||||
|
dir := t.TempDir()
|
||||||
|
// No wiki/ subdirs at all
|
||||||
|
inv, err := LoadInventory(dir)
|
||||||
|
require.NoError(t, err)
|
||||||
|
assert.NotNil(t, inv)
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user