Последние сообщения

Спасибо за ответ, а можно ли будет использовать парсер от Python на PHP сайте?

Зависит от ваших текущих знаний. Написать парсер сайтов можно на любом языке программирования, при желание. Удобнее всего, на мой взгляд сделать это на Python с использозованием библиотеки — crummy.com/software/BeautifulSoup/bs4/doc/ либо на NodeJS.

Python / Request / BeautifulSoup4 либо NodeJS / Axios / node-html-parser. Если осмелитесь писать на PHP, что на мой взгляд крайне не удобно, то guzzle + phpQuery, как вы уже сами и написали.

Также, сейчас на многих сайтах используется технология SPA и клиентский рендеринг. Если в кратцы — то контент на сайт подгружается через API и рендерится с помощью JS. Если в тупую обратиться к такому сайту с сервера (например через curl), то с высокой долей вероятности мы получим пустую страницу.

Для таких сайтов нужно использовать эмуляторы браузеров, например seleniumhq.org или pptr.dev. Биндинги есть на Python и NodeJS, возможно и на PHP.

Тоже изучаю тему денежных потоков для маркетплейса

Схема когда все платежи принимает маркетплейс

Есть вот такие варианты в ГК РФ

— агентский договор

— договор комиссии

— договор подряда

На практике РФ видел агентский договор у некоторых маркетплейсов

Если исполнители юр лица на УСН то все просто, за исключением если у них ОСН, то тогда будут нужны счет фактуры для НДС

Сложности возникают если исполнители физ лица из РФ, у юр лица как у налогового агента может возникнуть обязанность заплатить 13% НДФЛ за физиков. Банки подняли тарифы и ужесточили контроль если со счета юр лица в банк делать перевод физ лицу.

Есть варианты отправлять через платежки на карты например, но это доп расходы и может какое-то время никто вас трогать не будет. т к по вашему банку деньги будут уходить в юр лицо платежки, первое время проверять куда они уходят налоговая врятли будет

Хотя с другой стороны наверняка остались еще комиссионные магазины, которые уж точно не платят НДФЛ беря товар на реализацию от физиков.

Находил юридические разъяснение по НДФЛ такую формулировку:

Источником дохода для физ лица будет другое лицо (заказчик), а не ваша компания и поэтому ваша компания не должна удерживать НДФЛ, но не все налоговые инспектора могут так же думать, лучше у юристов по налогам уточнять

Для РФ удобное решение для физ лиц это безопасная сделка от яндекс кассы, kassa.yandex.ru/secure-deal

Она сама переведет деньги на карту исполнителя, а вам на счет придет только комиссия маркетплейса.

Комиссия кажется была около 3-4%, но еще они требуют внести залог 200 000 руб перед началом работы, на случай если будут chargeback для покрытия расходов.

Хотя потом менеджер сказал что вроде можно снизить до 50 000 руб, но нужны согласования и оценка рисков. И карты исполнителей кажется только из РФ

Cервис объявлений Юла (мейл ру) запустил услугу безопасная сделка с оплатой с картой онлайн, через дочернюю НКО деньгимейлру.

Возможно деньгимейлру делают безопасные сделки и для других компаний

Партнерки делают выплаты физ лицам вебмастерам через solar-staff.com/rates

Они выступают как подрядчики, и потом используя юр лицо в другой стране выплачивают деньги вебмастерам, НДФЛ тогда обязаны платить сами физ лица. Берут немало 6-12%

Фриланс маркетплейс Кворк.ру судя по оферте работает через юр лицо в Гонконге. Можете почитать оферты других аналогичных сервисов, и там увидите.

Еще нужно не забывать если вы будете принимать платежи по картам для всех исполнителей на свое ООО у вас возникают риски chargeback и штрафы.

Например у вашего маркетплейса небольшая комиссия 10%.

У вас на сайте может зарегистрироваться мошенник-исполнитель, заказать сам у себя с украденной кредитки услугу, подтвердить работу и вывести 90% денег себе с площадки. Потом к вам от владельца карты приходит чарджбек, вы попадаете на всю сумму заказа + штраф за чарджбек.

Как этого избежать?

— внедрять Антифрод системы для платежей с карты

— использовать принцип KYC — получать паспортные данные исполнителя перед началом работы, чтобы в случае чего было с кого спросить все штраф и расходы по договору.

— Делать длительную задержку денег для выплат исполнителям.

Есть другая схема: заказчик платит напрямую исполнителю.

Например Etsy в странах где не работает их платежная система, покупатели платят напрямую на paypal аккаунт продавца.

Сам Etsy исполнителям ежемесячно выставляют счет за свои услуги и получает оплату позже.

Paypal тут удобен тем что:

— исполнители могут быть с разных стран ( там где официально нельзя — есть сервисы посредники paypal).

— покупатели доверяют ему

— есть встроенная система защиты покупателя и продавца

— Разные валюты поддерживает

— можно принимать платежи по картам, у кого нет paypal аккаунта

— Используя api paypal Можно автоматизировать автоматическое списание комиссии с аккаунта paypal продавца bпри каждой продаже или по другому событию получать комиссию маркетплейса на ваш аккаунт

Мне видется второй вариант с paypal гораздо удобнее на начальном этапе + он позволяет работать международно.

А потом уже можно открыть юр лицо где нибудь в европе.

— подключить серъезные международные платежи вроде adyen, braintree, stripe

— внедрить антифрод системы + KYC

— разобраться с налогами

— подключить международные выплаты для исполнителей, через swift, payoneer, paypal (в рф нет массовых платежей для бизнеса), недавно нашел сервис www.paymentrails.com/pricing

И только тогда запускать все платежи через компанию и безопасную сделку

Да и еще момент, у меня крутился сервис, годами собирающий терабайты данных на скорости 4к-10к событий в секунду (time series), хранить это в классической базе я не стал, а организовал хранилище на файлах, поверх которых в базе данных собирается агрегированная выжимка и индексы.

Это было оправдано, так как разработка аналитического сервиса шла уже в процессе загрузки и это была суть работы, т.е. нельзя заранее определить, что из этих данных и как может понадобиться, база данных строилась каждый раз под задачу, проходом по всем данным (больше времени занимала их распаковка — json с упаковкой zstd)

100к событий в секунду с торговой платформы это сюр, такое практически нереально, (ну может в самый первый раз когда база пустая).

С высокой вероятностью там так — вы собираете в секунду 100к информационных единицы (отзывы, товары, ..) но в базе из них обновить и добавить считанные процент из этого, и вот в этот момент есть способы как оптимизировать, например перенести обработку из медленной базы данных (медленные они, потому что универсальные и транзакционные) в оперативную память.

Типовой пример — модуль, который собирается загружать данные по какому то классу информации, может определить, с какой частью данных в базе это пересекается, выгрузить их все (пока данных не миллионы — это оправдано) в оперативную память и проводить сравнение прямо во время загрузки, отправляя в базу только важные данные.

Отсюда архитектура — отдельно дубовые парсеры-загрузчики (их можно размещать буквально где угодно, они получают команду на загрузку и молотят, выдавая json-чики пакетами в виде результата), отдельно узлы-обработчики, которые на каждый пакет данных от загрузчиков делает нужные запросы в базу данных (или заранее кеширует в памяти, но тут нужно считать, что дешевле — апгрейдить сервер базы данных или держать на дисках кеш-дампы запросов и обновлять их параллельно БД, в этом случае кстати БД остается как конечное хранилище и аналитики). Ну и про базу данных, они на запись медленные только если там индексы распиханы по максимуму, хороший способ, если загрузка в базу редкая (например раз в сутки длится час) то можно отключить на это время индексы, провести загрузку, вернуть индексы — это кратно ускоряет процесс ЗАГРУЗКИ но не проверки целостности и поиск данных, т.е. подходит именно когда анализ проводится не в БД.

В общем разделять нужно задачи — загрузки данных, сохранение данных, и аналитические запросы по этим данным — каждая из этих задач требует свой способ хранения данных и организации индексов, если все пытаться мешать в одно место — будут затыки и тормоза.

Это расширения-блокировщики и браузеры типа Opera где они уже нативно встроены.

Люди их ставят из-за того что вебмастерам мало встроенной аналитики DST Multivendor и они навешивают на сайт еще GA, метрику и piwik.
Бороться с этим можно только одним способом — прикрутить свою аналитику, или купить модуль DST Analitics который работает уже на стороне сервера, а все остальное выпилить.

Проблема вот какая. Есть магазин, установлена метрика, аналитика и поставил еще piwik.

У всех систем не считаются некоторые визиты. Т.е. у меня допустим по метрике 81 заказ, а в ЦМС их 115. 34 заказа не посчитались. Грешил на метрику, поставил piwik — тоже самое, и самое интересное, что ЦМС — DST Multivendor, там есть встроенная система аналитики, но она так же не видит эти визиты.

Т.е. человек реально сделал заказ, но не в аналитики DST Multivendor, не в метрике, не в piwik мы его не увидим(гугл как то криво настроен, но там тоже этих визитов нет).

Я даже делал так: поступил заказ, открываем метрику вебвизор и ищем такое посещение. 100% его нет, потому что в это время страницы где был такой товар не открывались, но в целом они фигурируют в вебвизоре.

Вот куда уходят эти визиты, почему ни одна система их не видит. Это сервер? там апач + нгинкс стоит, или что-то еще?

Андрей Живов

Поставьте лучше цели, будет надежнее. При оформлении заказа у вас срабатывает событие на цель.

Если вы используете стандартный компонент с работой по AJAX, то возможно в нем проблема.

Проблема вот какая. Есть магазин, установлена метрика, аналитика и поставил еще piwik.

У всех систем не считаются некоторые визиты. Т.е. у меня допустим по метрике 81 заказ, а в ЦМС их 115. 34 заказа не посчитались. Грешил на метрику, поставил piwik — тоже самое, и самое интересное, что ЦМС — DST Multivendor, там есть встроенная система аналитики, но она так же не видит эти визиты.

Т.е. человек реально сделал заказ, но не в аналитики DST Multivendor, не в метрике, не в piwik мы его не увидим(гугл как то криво настроен, но там тоже этих визитов нет).

Я даже делал так: поступил заказ, открываем метрику вебвизор и ищем такое посещение. 100% его нет, потому что в это время страницы где был такой товар не открывались, но в целом они фигурируют в вебвизоре.

Вот куда уходят эти визиты, почему ни одна система их не видит. Это сервер? там апач + нгинкс стоит, или что-то еще?

Спасибо Андрей за дополнение, а не подскажите что насчет доставки получателю. Насколько я знаю этот этап плохо поддается автоматизации.

Екатерина Трифанова

Все верно. Маршрут уже составлен, товар готов к отправке. Но все же есть нюансы, о которых стоит помнить при организации работы:

1) Звонок перед выездом. Мы уже писали о нем выше, но, на самом деле, этот момент крайне важен. А потому стоит повториться.

Даже если вы доставляете товар длительного хранения, любая поездка, которая не завершится результатом, принесет вам дополнительные расходы( потому что доставлять товар придется еще как минимум один раз). Потому имеет смысл обязать ответственных лиц сделать перед выездом контрольный звонок. Это намного дешевле, чем оплачивать расходы на транспорт и зарплату персоналу за бессмысленную поездку.

2) Наличие у ответственного сотрудника всех контактов клиента: адрес доставки, контактный телефон, имя контактного лица.

Кроме контрольного звонка перед выездом, в дороге также возможны накладки: курьер может попасть в «пробку», клиент с курьером не смогут друг друга опознать без звонка, курьер приехал вовремя, а клиент отлучился, возможно, на несколько минут. Все эти проблемы и несовпадения можно решить «на месте» при наличии контактных данных.

3) Мобильный терминал для приема средств. В этой статье денежные отношения с клиентами рассматриваться не будут. Но с точки зрения организации доставки, важно продумать, будет ли сотрудник получать от клиента деньги на месте, понадобится ли ему для этого оборудование (чтобы принять оплату картой, выписать чек и т.д.).

В принципе, на этом этап доставки завершен. Сотрудник повез товар по адресу, у него есть все необходимое для успешной реализации поставленной задачи. Остается только передать товар покупателю, но это отдельный процесс, который мы рассмотрим в следующий раз.

Несколько важных советов по организации доставки

Уделяйте максимум внимания подготовке доставки.

Любые проблемы с документами, ошибка в адресе или несогласованное время доставки завершаются финансовыми потерями для компании.

Даже если доставка бесплатная для покупателя, компания-отправитель все равно несет определенные расходы. Да и при платной доставке ваши ошибки исправлять придется за ваш счет, покупатель здесь ни при чем.

В случае каких-то накладок вы можете не только потерять средства на доставке одного заказа, но и «сломать» продуманный график, что повлечет за собой цепочку дополнительных проблем. Так, из-за необходимости дожидаться покупателя в одном месте и вынужденных задержек на следующей или одной из последующих точек курьер просто не успеет к закрытию склада (магазина), а клиент, который ждал товар к определенному сроку, может вообще отказаться от покупки.

Потому обязательно перед отправкой проверьте и перепроверьте все этапы будущей поездки. Это повысит эффективность продаж и положительно отразится на репутации компании.

При организации работы определитесь, как вам выгоднее составлять маршрутный лист:

— В рознице и при часто меняющихся маршрутах, скорее всего, без электронных карт не обойтись. Лучше сразу заложить в бюджет такую автоматизацию, а также оснащение сотрудников служебными мобильными устройствами.

— Небольшая компания, доставляющая товары преимущественно постоянным клиентам, а также склад, который развозит товар по собственным торговым точкам, в подобной автоматизации не нуждаются. Маршруты используются постоянные, хорошо изученные. Но ограничения по весу, объему или каким-то другим количественным параметрам все же стоит добавить в систему. Это избавит вас от срочных корректировок в маршруте из-за невозможности загрузить нужное количество товаров. Так тоже иногда случается, автоматическая проверка поможет избежать ошибок и сэкономить время погрузки.

— Продумайте надежную связь с сотрудниками, находящимися на маршруте. Также не забывайте, что они будут звонить клиентам. А потому оптимальная цена и качество корпоративной мобильной связи в этом случае также важны.

В общем, доставка — этап сравнительно простой с точки зрения организации работы. Главное — правильное оформление документов и максимальная внимательность сотрудников. А снизить влияние человеческого фактора помогут автоматизация оформления документов и напоминания о важных этапах — звонках клиентам и дополнительных проверках.

Спасибо Андрей за дополнение, а не подскажите что насчет доставки получателю. Насколько я знаю этот этап плохо поддается автоматизации.

Процесс доставки делится на два основных подпроцесса:

— Получение товара на складе

— Доставка по адресу получателю

Доставка может осуществляться своими силами, т.е. с привлечением собственного транспорта и сотрудников компании, а может быть передана сторонней курьерской организации. В зависимости от выбранного варианта значительно отличаются документооборот, распределение ответственности и т.д.

О работе с подрядчиками мы здесь говорить не будем, так как этот процесс во многом зависит от особенностей конкретного подрядчика и достигнутых договоренностей. Сосредоточимся на варианте доставки своими силами, так как в этом случае компания может на 100% самостоятельно формировать бизнес-процесс.

Получение товара на складе

Основание для получения товара на складе —договоренность с покупателем о перечне товаров, оплате, времени и месте получения товара. В процессе продажи продавец уточняет все вопросы, и только после этого заказ добавляется в план доставки.

Многие компании перед загрузкой товара и выездом вводят в правило повторный контрольный звонок клиенту. Это помогает избежать безрезультатных поездок в случае каких-то накладок у клиента и очень важно в случае продажи товаров с малым сроком хранения.

Представьте, если пекарня или хлебозавод отправит автомобиль со свежим хлебом, а покупатель его не примет, помимо транспортных расходов, компания также понесет убытки на возможном списании или уценке товара. Автомобиль обычно идет по определенному маршруту, поставляет товары многим клиентам. И назад хлеб может вернуться уже к вечеру, т.е. потеряет свежесть, что для такой товарной группы критически важно.

Документальное оформление доставки:

— Расходные и бухгалтерские документы для покупателей: накладные, чеки и другие, в зависимости от формы продажи и договоренностей.

— «Расход со склада» —это единый служебный внутренний документ компании для удобной и быстрой отгрузки необходимого товара со склада. Также используется в качестве основания ответственному складскому работнику для выдачи товаров. Формируется на основе всех заявок, вошедших в маршрут. В некоторых случаях такой документ не используется, отгрузка производится на основании расходных накладных для клиента. Обычно так строится работа небольших компаний или при использовании курьерской доставки (заказы отправляются небольшими количествами по мере поступления).

— Маршрутный лист — формируется на основе заявок с учетом адреса доставки и грузоподъемности автомобиля/возможностей курьера.

Маршрутные листы и автоматизация

Формирование маршрутных листов выполняется одним из двух способов:

— Распределение заявок на основе сформированных ранее стандартных маршрутов.

— Использование электронной карты и автоматизированного формирования маршрута с учетом адресов доставки и параметров груза (общий вес товаров, объем или количество «мест», когда это важно).

В первом случае автоматизацию можно считать частичной. Во втором — полной. Сотрудники компании получают автоматически сформированный пакет документов, включая составленный маршрут. Все, что должно быть в бумажном виде, отправляется на печать. Карта маршрута, данные об адресах и телефонах заказчиков, другая служебная информация передается на электронное мобильное устройство (планшет или смартфон).

Проверка товара

После получения всех необходимых документов ответственное лицо доставки — водитель, курьер или экспедитор — получает на складе товар: проверяет его наличие и состояние, после чего обязательно ставит подпись на расходных складских документах. После этого товар считается отгруженным со склада, и ответственным за этот товар становится тот человек, который его принял.

Мы не будем разбираться в нюансах работы с экспедиторами или водителями. По сути, процесс получения товара и доставки во всех этих случаях одинаков. При составлении бизнес-процесса для конкретной компании не забывайте указывать, кто именно будет ответственным лицом при доставке. И формируйте документацию, а также продумывайте другие особенности работы с учетом всех нюансов.

Попробовали и можно с точностью сказать что DST Marketplace разработан с учетом лучших практик создания маркетплейсов, что делает его действительно ценным инструментом. 

Для нас стало главным что в системе управления сайтом все продумано до мелочей, что позволяет значительно сократить время на работу с платформой. Возможности, предоставляемые системой, такие как управление маркетингом и IT-инфраструктурой, позволяют сосредоточиться на стратегии развития бизнеса, а не на технических деталях. Также отлично реализованы экспорт и импорт товаров и широкие возможности коммуникации с поставщиками. 

Я недавно ознакомился с программным обеспечением DST Marketplace, и могу с уверенностью сказать, что это отличный инструмент для быстрого запуска маркетплейсов. Чудесно, что он основан на профессиональной платформе DST Platform, что обеспечивает его надежность и мощность.

Понравилась интуитивно понятная интерфейса и множество готовых шаблонов, которые значительно упрощают процесс настройки сайта под конкретные бизнес-требования. Интеграция с различными платежными системами и управление товарами выглядят очень удобно и не требуют глубоких технических знаний.

Также радует оптимизация платформы под конкретные отраслевые требования, что даёт возможность разработать специализированные маркетплейсы для B2B и B2C. С уверенностью рекомендую DST Marketplace всем, кто хочет быстро реализовать идеи в сфере электронной коммерции!

Ничего сложного, в DST Store есть прекрасная функция клонирования товарной карточки и массово расставления атрибутов (фильтров) к товарам, если приноровиться, то можно и самому спокойно добавить 10 тысяч товаров за несколько дней.

У меня ушло два дня чтоб понять как что работает и далее в течении еще двух дней я добавил все товары сам, главное понять, как добавлять массово атрибуты т.к. именно на них тратиться больше всего времени.

Я просто люблю делать все сам чтоб понимать, как работает и как говориться, когда делаешь сам получаешь то что хочешь. 

Наполнение Интернет-магазина можно сделать несколькими способами.

1. Способ это, собственно, самому.

2. Если номенклатуры среднее количество, например более от 500 до 5000 штук то это проще сделать, заказав работы у контент-менеджеров, на фрилансе или в самом DST, мы заказывали в DSTони сделали все быстро в течении полторы недели добавили 4500 товаров, с атрибутами и картинками. По оплате не скажу, делали давно, но обошлось не дорого.

3. Если товаров много, более 10000 штук то тут скорей всего заказать написать парсер, его заказать также можно в ДСТ, чем больше доноров источников откуда брать информацию, тем дороже парсер. Парсить можно откуда угодно, с любого сайта или файла