В последнее время все чаще говорят о Data Warehouse (дословно – склад данных). Только ленивый не предлагает свой вариант реализации этой концепции. Повсеместно проводятся посвященные этой теме тренировочные семинары, организуются группы, обсуждающие вопросы Data Warehouse в сети Internet.

Идея проста: собрать разрозненные данные в единый архив в виде, пригодном для делового анализа Это мгновенно повысит продуктивность работы аналитиков, а значит, позволит обойти конкурентов, увеличить долю рынка и прибыль.

Складывается впечатление, что голубая мечта "белых воротничков" выставлена в витрине каждого поставщика программного обеспечения. К сожалению, это далеко не так. Вот почему, прежде чем разочароваться в чудодейственном влиянии Data Warehouse на жизнь вашей организации, попытайтесь уяснить себе суть этой концепции и приготовьтесь к долговременной и напряженной работе.

Настоящий обзор призван помочь добиться успеха и получить максимальный положительный эффект от создания собственного Data Warehouse.

1. Не ждите чудес

Итак, решено, что ваша организация нуждается в Data Warehouse. Прежде чем начать действовать, следует осознать, что речь идет о гораздо большем, нежели об обычном техническом решении. Не исключено, что уже в процессе внедрения Data Warehouse придет понимание, что деятельность вашей организации построена не лучшим образом.

В конечном счете, цель создания Data Warehouse состоит в том, чтобы сделать организацию более управляемой, грамотнее маневрировать ресурсами, обеспечить конкурентоспособность. Однако не ждите чудес: все будет зависеть от того, как вы определите область деятельности организации и состав данных, отражающих общую картину дел.

2. Сформулируйте цели проекта

Основными пользователями Data Warehouse являются работники управления. Постарайтесь выяснить их бизнес-функции, с тем чтобы представить себе те срезы информации, на основе которых принимаются управленческие решения.

Data Warehouse должен предложить такую среду накопления данных, которая будет оптимизирована для выполнения сложных аналитических запросов управленческого персонала. Эти запросы индивидуальны для каждой организации, каждого подразделения и даже отдельного руководителя.

Например, канадский коммерческий "Империал-банк" (The Canadian Imperial Bank of Commerce, CIBC) использует Data Warehouse для выявления среди 1500 своих филиалов тех структур, которые имеют сходные характеристики. Это позволяет подготовить требования по укомплектованию персоналом каждого филиала.

Исследуйте опыт других организаций, которые с успехом реализовали Data Warehouse, чтобы понять, что должно быть включено в проект и что он должен принести.

3. Расставьте приоритеты

Проект Data Warehouse сам по себе является формой реорганизации бизнеса. Он призван способствовать индивидуальному творчеству руководителей и специалистов по управлению прежде всего в тех областях, где требуется немедленно усилить деловую активность. Только в этом случае можно рассчитывать на быструю отдачу от вложений в Data Warehouse.

Приоритеты проекта непременно должны быть увязаны с приоритетами организации. Каждый сотрудник должен быть заинтересован в его успешном выполнении. Это обеспечит широкую поддержку проекта внутри коллектива.

Хотя Data Warehouse можно развивать сколько угодно, успешное завершение первоначального проекта – существенная психологическая победа, которая будет иметь длительные благоприятные последствия. Вот почему чрезвычайно важно не ошибиться в выборе приоритетов первой реализации Data Warehouse.

4. Создайте команду

Data Warehouse влияет на деятельность практически всех подразделений организации. Без их активного участия с самого первого этапа реализации проекта, он обречен на неудачу. Объедините в один коллектив не только специалистов по информационным технологиям, но и лиц, принимающих решения. Все они должны представлять разные подразделения и иметь высокую квалификацию.

Комбинируйте участников команды, исходя из наличия глубоких знаний в предметных областях, навыков работы с имеющимися системами и приложениями, способностей к совместному труду. Договоритесь о формах поощрения в зависимости как от продвижения проекта в целом, так и от личного вклада участника.

При этом важно координировать работу над проектом не только на уровне команды или всей организации, но и с поставщиками необходимого программного обеспечения, средств проектирования, разработки, тестирования, а также с производителями вычислительной техники, аппаратуры передачи данных, носителей информации.

5. Проведите инвентаризацию

Основными источниками данных для Data Warehouse как правило являются эксплуатируемые уже многие годы системы регистрации операций движения товаров на складе, учета наличности в кассе, начисления заработной платы, регистрации клиентов, сделок, партнеров и т.д. К источникам данных можно отнести также отдельные документы и наборы данных, предоставляемые специализированными компаниями (например Reuters).

Составьте список источников данных вашей организации. Классифицируйте их по территориальному, административному признаку, степени достоверности, частоте обновляемости, количеству пользователей, секретности и используемым системам хранения и управления данными.

Например, база данных по торговле косметикой может вестись в "плоских" файлах стандарта xBase или на сервере баз данных InterBase. Территориально она может находиться в главном офисе или непосредственно в магазине, административно – отнесена к подразделению, занимающемуся торговлей косметическими товарами (а не к отделу информационных технологий). Данные по свершившимся сделкам более достоверны, нежели по прогнозируемым. Конфиденциальной информацией обеспечивается меньшее количество пользователей, чем общедоступной.

6. Составьте словарь метаданных

Проведя инвентаризацию источников данных, вы заложите основу словаря метаданных Data Warehouse в него автоматически включаются словари данных источников. Здесь же хранятся форматы данных для их последующего согласования В хорошем словаре метаданных отслеживается периодичность обновления информации и согласованность ее во времени.

Если источники данных расположены на разных платформах и обслуживаются различными системами управления, то это также должно быть отражено в словаре метаданных. Задача словаря состоит и в том, чтобы освободить разработчиков от необходимости стандартизировать источники данных, а возложить это на Data Warehouse.

Создание Data Warehouse не должно мешать действующим системам сбора и обработки информации. Специальные компоненты Data Warehouse должны извлекать из них необходимые данные и преобразовывать их на основе информации из словаря метаданных

7. Структурируйте данные

Логическая структура данных в Data Warehouse радикал ьно отл ичается от структур данных в источниках. Причина проста оперативные функции в принципе отличаются от функций управления организацией. Следовательно, должны быть коренные различия и в подходах. Здесь кроются причины разочарований, испытываемых разработчиками, и утраты иллюзий у тех администраторов, которые хотят использовать информационные технологии.

Data Warehouse должен хранить информацию в виде, оптимизированном для быстрого исполнения запросов обеспечивающих принятие решений, которые влияют на увеличение конкурентоспособности, доли рынка и прибыли Data Warehouse надлежит автоматически собирать операционные данные, согласовывать их и объединять в предметно-ориентированный формат, необходимый работникам управления. Данные в Data Warehouse обычно накапливаются, но не изменяются

8. Подготовьте прототип

Ключом к успешной реализации проекта Data Warehouse является использование методологии RAD (Rapid Application Development, быстрая разработка приложений), когда развитие системы начинается с действующего прототипа, немедленно приносящего результаты с помощью многочисленных готовых к применению технологий анализа, легкодоступных лицам, принимающим решения.

Развивая прототип путем последовательных приближений, следует тщательно оценивать состояние дел и следить за ростом производительности работы управленцев, вовлекать их в тестирование и использование прототипа. Для этого надо, чтобы прототип очень быстро предоставлял им всю полезную информацию. Потребуются разнообразные, легкие в использовании средства, чтобы не ожидать готовности прикладных программ месяцами

Прототипирование Data Warehouse может быть ускорено в результате использования CASE, автоматического документирования, языков четвертого поколения (4GL) и средств тестирования Технология RAD нацелена на извлечение максимального эффекта от автоматизации любой мелочи в процессе разработки Именно это обеспечит мгновенную отдачу

9. Решите технические вопросы

По мере развития прототипа и увеличения числа источников данных вам придется решать массу технических вопросов. Правильный выбор оборудования и программного обеспечения позволит снять большинство из них. Следует исключить поставщиков, предлагающих программное обеспечение от разных производителей, не проверенное в совместной работе во всех аспектах.

Не стоит пытаться решать все возникающие вопросы с нуля. На многие из них уже даны ответы. Например, если у вас есть базы данных, поддерживаемые СУБД типа Oracle или Informix, и плоские файлы стандарта xBase, то извлечение данных в Data Warehouse может быть организовано посредством SQL-запросов не только к первым, но и к последним через ODBC-драйверы.

Возможна организация Data Warehouse по трехзвенной архитектуре, включающей Middleware, промежуточные программы, такие, как Tuxedo System, что позволяет обеспечить не только загрузку данных в Data Warehouse из удаленных источников, но и доставку аналитических сводок к удаленным пользователям.

Ведущие производители серверов баз данных, например, Oracle и Informix, выпустили новые версии своих продуктов, предназначенных для обработки колоссальных объемов информации (сотен гигабайтов)и приспособленных для аналитических запросов.

10. Оцените результаты

По завершении проекта ознакомьте с его результатами другие подразделения. В случае успешной реализации позитивные перемены коснутся буквально всех, поскольку проект напрямую связан с целями и задачами организации.

Хорошо сформированный Data Warehouse оптимизирует существующие инвестиции в данные и оборудование и помогает подразделению информационных технологий устанавливать более тесные связи с другими отделами организации. Без всякого сомнения, он является важнейшим элементом динамичных, быстро растущих предприятий.

Произведите переоценку ситуации и постоянно, по мере необходимости расширяйте Data Warehouse методом последовательных приближений.